말하다

호흡을 통한 말하기:마비 환자를 위한 지능형 통신 시스템.

이 프로젝트에 사용된 것들

하드웨어 구성요소

스피커:3W, 4옴

Android 기기

왈라봇

라즈베리 파이 3 모델 B

소프트웨어 앱 및 온라인 서비스

파이썬

반응 네이티브

스토리

Speathe:마비 후 말문이 막힌 마비 환자를 위한 혁신적이고 진화하는 의사 소통 방법입니다. 마비된 사람들을 위한 방법이 있더라도 Speathe는 호흡을 청각 및 전달 가능한 텍스트로 변환하여 도움의 손길을 줍니다. 이 코드가 크게 발전하기를 바라며 모든 열성팬들이 이 코드가 마비된 동료들에게 효과적인 의사소통이 될 수 있도록 이 작업을 수행할 것을 요청합니다.

하드웨어 구성 요소

Speathe components

Walabot은 호흡을 듣고 짧고 긴 호흡으로 분류합니다. 라즈베리는 짧은 호흡과 긴 호흡에 각각 점과 대시를 할당하고 추가하여 알파벳을 만듭니다. 의사 소통을 단순화하기 위해 사전 정의 된 의미를 가진 3 글자 약어 모음이 있습니다. Raspberry는 사용자별로 speathe라는 단어를 결정하고 변수에 값을 할당하고 데이터를 파이썬에서 실행되는 서버에 게시합니다. 모바일 애플리케이션은 변수 값을 찾는 서버에 지속적인 요청을 보내는 react-native를 사용하여 개발되었습니다. null이 아닌 값이 수신될 때마다 모바일 앱이 이를 표시합니다. 또한 사용자가 입력한 텍스트를 서버에 다시 게시하고 마비된 사람에게 큰 소리로 발음하여 사람들이 마비된 사람에게 회신할 수 있는 확장 프로그램도 제공합니다.

소프트웨어 개발

1. Python을 사용하여 Walabot SDK 및 프로그래밍 설정

Python IDE가 설치되어 있지 않은 경우 Python3은 https://www.python.org/downloads/에서 사용할 수 있습니다.

완료되면 OS용 Walabot SDK를 다운로드할 수 있습니다. Walabot Python API에 대한 자세한 정보는 https://walabot.com/api/_pythonapi.html

에서 확인할 수 있습니다.

.deb 파일을 설치하면 소스 디렉토리에서 C++ 및 Python용으로 작성된 다양한 예제 프로그램을 찾을 수 있습니다. 예제 프로그램은 Walabot API 웹사이트에서도 사용할 수 있습니다. 이 프로젝트의 경우 BreathingExample 파이썬 프로그램을 진행하는 것이 좋습니다.

2. 호흡 감지 및 문자 매칭

호흡 에너지를 결정하는 왈라봇의 능력은 길고 짧은 호흡을 결정하는 데 사용됩니다. 우리는 10-15개의 연속적인 루프를 취할 것이고 그 안에서 에너지가 임계값보다 상당히 높으면 긴 호흡으로 지정되고 에너지가 임계값보다 낮으면 짧은 호흡으로 지정됩니다. 이 1회에 대해 각 사람마다 보정이 필요할 수 있습니다.

긴 호흡과 짧은 호흡을 연속적으로 감지한 후 긴 호흡의 경우 '-', 짧은 호흡의 경우 '.'가 배열로 배열되어 ['-.-.-'와 같은 모스 부호를 형성할 수 있습니다. ]. 특정 모스 부호 패턴 및 사전 정의된 문자 및 호흡이 일치하는 경우 해당 문자가 발음됩니다.

3. 글자, 단어, 문장, 느낌

Speathe의 첫 번째 버전에서는 마비 환자가 너무 많이 말을 하지 않도록 일상 생활에서 사용되는 일반적인 문구에 대한 세 글자 약어를 개발했습니다. 세 글자 약어가 일치하는 경우 모바일 애플리케이션에서 가져온 변수 값이 해당 구문으로 대체됩니다. 따라서 완전히 마비된 사람들에게도 효과적인 의사 소통이 가능합니다.

4. 서버

서버는 raspberry pi에서 실행 중이며 python에 의해 완전히 제어됩니다. Flask 모듈은 Raspberry Pi 3에서 서버를 실행하는 데 사용됩니다. Raspberry Pi에는 고정 IP가 설정되어 있고 일부 포트(예:80)에서 서버가 시작됩니다.

설정 방법 정적 IP

1. 명령 프롬프트에서 sudo nano /etc/dhcpcd.conf를 입력합니다.

2. 스크립트 맨 아래로 스크롤하여 다음 줄을 추가합니다.

인터페이스 eth0
정적 ip_address=192.168.43.211
정적 라우터=192.168.43.1
정적 domain_name_servers=192.168.43.1
인터페이스 wlan0
정적 ip_address=192.168.43.16 />고정 라우터=192.168.43.1
정적 도메인 이름_서버=192.168.43.1

3. ctrl + o를 사용하여 파일을 저장한 다음 ctrl + x를 사용하여 nano를 종료합니다.

4. sudo reboot로 재부팅합니다.

5. 모바일 애플리케이션

모바일 애플리케이션은 반응 네이티브로 개발되었습니다. 서버의 동일한 포트에서 값에 대한 기본 요청입니다. 값을 찾으면 사용자 인터페이스에 표시됩니다. 그리고 사용자가 무언가를 되돌리고 싶다면 react-native가 데이터를 서버의 일부 변수에 게시하면 해당 변수의 값을 확인하는 파이썬 코드가 더 크게 발음하여 마비된 사람이 듣고 필요한 경우 응답할 수 있도록 합니다.

clientMobile Application을 검색하는 모바일 앱은 paralyzedMessage에서 서버로 다시 'Apple' 메시지를 수신했습니다.

5. 테스트

Raspberry Pi에서 python 파일을 실행하고 Raspberry Pi의 고정 IP 주소를 설정합니다. JavaScript 코드에서 IP 주소와 포트 주소를 변경하고 apk를 렌더링합니다. 제 경우에는 IP 주소를 192.168.43.211로 설정했으며 디버그 apk가 저장소에 제공됩니다. APK가 생성되면 Wi-Fi를 통해 Raspberry Pi를 Android 장치에 연결하고 Walabot을 Raspberry Pi에 연결합니다. 애플리케이션을 열고 스피딩을 시작하기만 하면 됩니다.

더 많은 정보를 읽어보세요….

더듬어