Arduino에서 TinyML을 사용한 기침 감지

Edge Impulse 사용자 이름, 암호 및 데이터 세트를 추가할 프로젝트를 입력하라는 메시지가 표시됩니다. 이제 데이터 수집에서 데이터세트 샘플을 볼 수 있습니다. 페이지. 샘플을 클릭하면 샘플이 어떻게 생겼는지 볼 수 있으며 각 그래프 아래의 재생 버튼을 클릭하면 오디오를 들을 수 있습니다.

기침 및 소음 데이터 샘플 10분이면 시작하기에 충분합니다. 선택적으로 고유한 기침 및 배경 소음 샘플로 데이터 세트를 확장할 수 있습니다. 데이터 수집에서 기기에서 직접 새 데이터 샘플을 수집할 수 있습니다. 페이지. Edge Impulse CLI 업로더를 사용하여 WAV 형식의 오디오 샘플을 업로드할 수도 있습니다.

시작하는 가장 쉬운 방법은 휴대폰을 사용하여 오디오 데이터를 수집하는 것입니다(전체 자습서는 여기). 기기 로 이동합니다. 페이지에서 오른쪽 상단의 '+ 새 장치 연결' 버튼을 클릭합니다. '휴대전화 사용'을 선택합니다. 이렇게 하면 휴대폰 브라우저에서 웹 애플리케이션을 열 수 있는 고유한 QR 코드가 생성됩니다. QR 코드를 사진으로 찍고 선택하여 링크를 엽니다.

웹 애플리케이션은 Edge Impulse 프로젝트와 연결되며 다음과 같아야 합니다.

이제 데이터 수집에서 전화에서 직접 오디오 데이터 샘플을 수집할 수 있습니다. Edge Impulse 페이지입니다. '새 데이터 기록' 섹션에서 '기침' 또는 '소음' 레이블을 입력하고 '마이크'가 센서로 선택되어 있는지 확인한 다음 '샘플링 시작'을 클릭합니다. 이제 휴대전화에서 오디오 샘플을 수집하여 데이터세트에 추가합니다.

Nano BLE Sense 보드에서 직접 오디오 데이터를 수집하는 것도 지원됩니다. 다음 지침에 따라 Edge Impulse 펌웨어 및 데몬을 설치하십시오. 기기가 Edge Impulse에 연결되면 위의 휴대전화와 마찬가지로 데이터 샘플을 수집할 수 있습니다.

충동 생성

다음으로 임펄스 생성에서 신호 처리 및 기계 학습 블록을 선택합니다. 페이지. 임펄스는 원시 데이터 및 출력 기능 블록과 함께 공백으로 시작됩니다. 1000ms 창 크기 및 500ms 창 증가의 기본 설정을 그대로 둡니다. 이는 오디오 데이터가 0.5초마다 시작하여 한 번에 1초씩 처리됨을 의미합니다. 작은 창을 사용하면 임베디드 장치의 메모리가 절약되지만 기침 사이에 큰 휴식이 없는 샘플 기침 데이터가 필요합니다.

'처리 블록 추가'를 클릭하고 오디오(MFCC)를 선택합니다. 블록. 다음으로 '학습 블록 추가'를 클릭하고 신경망(Keras)을 선택합니다. 블록. '임펄스 저장'을 클릭합니다. 오디오 블록은 오디오의 각 창에 대한 스펙트로그램을 추출하고 신경망 블록은 훈련 데이터 세트를 기반으로 스펙트로그램을 '기침' 또는 '소음'으로 분류하도록 훈련됩니다. 결과적인 충동은 다음과 같을 것입니다:

다음으로 MFCC의 교육 데이터 세트에서 기능을 생성합니다. 페이지. 이 페이지는 데이터 세트 샘플에서 각 1초 창에 대해 추출된 스펙트로그램이 어떻게 보이는지 보여줍니다. 매개변수를 기본값으로 둘 수 있습니다.

다음으로 '기능 생성' 버튼을 클릭하면 이 처리 블록으로 전체 교육 데이터 세트를 처리합니다. 이렇게 하면 다음 단계에서 신경망을 훈련하는 데 사용할 완전한 기능 세트가 생성됩니다. '기능 생성' 버튼을 눌러 처리를 시작하세요. 완료하는 데 몇 분 정도 걸립니다.

이제 NN 분류기에서 신경망을 설정하고 훈련할 수 있습니다. 페이지. 기본 신경망은 물 흐르는 소리와 같은 연속적인 소리에 적합합니다. 기침 감지는 더 복잡하므로 각 창의 스펙트로그램에서 2D 컨볼루션을 사용하여 더 풍부한 네트워크를 구성합니다. 2D 컨볼루션은 이미지 분류와 유사한 방식으로 오디오 스펙트로그램을 처리합니다. '신경망 설정' 섹션의 오른쪽 상단을 누르고 'Keras(전문가) 모드로 전환'을 선택합니다.

'신경망 아키텍처' 정의를 다음 코드로 교체하고 '최소 신뢰 등급' 설정을 '0.70'으로 설정합니다. 그런 다음 '교육 시작' 버튼을 클릭합니다. 교육은 몇 초 정도 걸립니다.

tf로 텐서플로우 가져오기 
tensorflow.keras.optimizers에서 Adam 가져오기
tensorflow.keras.constraints에서 MaxNorm 가져오기
# 모델 아키텍처
model =Sequential()
model.add(InputLayer( input_shape=(X_train.shape[1], ), 이름='x_input'))
model.add(Reshape((int(X_train.shape[1] / 13), 13, 1), input_shape=( X_train.shape[1], )))
model.add(Conv2D(10, kernel_size=5, 활성화='relu', 패딩='동일', kernel_constraint=MaxNorm(3)))
 model.add(AveragePooling2D(pool_size=2, padding='same'))
model.add(Conv2D(5, kernel_size=5, activation='relu', padding='same', kernel_constraint=MaxNorm(3) )))
model.add(AveragePooling2D(pool_size=2, 패딩='동일'))
model.add(Flatten())
model.add(Dense(클래스, 활성화='softmax', 이름='y_pred', kernel_co nstraint=MaxNorm(3)))
# 학습률을 제어합니다.
opt =Adam(lr=0.005, beta_1=0.9, beta_2=0.999)
# 신경망 훈련
model.compile(loss='categorical_crossentropy', optimizer=opt, metrics=['accuracy'])
model.fit(X_train, Y_train, batch_size=32, epochs=9, validation_data=(X_test, Y_test) , 상세=2) 

이 페이지에는 데이터 세트에 따라 다음과 같은 훈련 성능 및 기기 성능이 표시됩니다.

이제 Arduino 기침 감지 알고리즘을 시험해 볼 준비가 되었습니다!

교육 및 테스트

라이브 분류 페이지에서 데이터세트와 함께 제공된 기존 테스트 데이터로 알고리즘을 테스트하거나 휴대전화 또는 Arduino 장치에서 오디오 데이터를 스트리밍하여 알고리즘을 테스트할 수 있습니다. 테스트 샘플 중 하나를 선택하고 '샘플 로드'를 눌러 간단한 테스트를 시작할 수 있습니다. 이렇게 하면 테스트 샘플이 분류되고 결과가 표시됩니다.

라이브 데이터로 알고리즘을 테스트할 수도 있습니다. 이전에 연 휴대폰의 브라우저 페이지를 새로 고쳐 휴대폰에서 시작합니다. 그런 다음 '새 데이터 분류' 섹션에서 장치를 선택하고 '샘플링 시작'을 누릅니다. 데이터 수집 단계에서와 같이 edge-impulse-daemon을 통해 프로젝트에 연결하면 Nano BLE Sense에서 오디오 샘플을 유사하게 스트리밍할 수 있습니다.

배포

기침 감지 알고리즘을 휴대폰에 쉽게 배포할 수 있습니다. 휴대폰의 브라우저 창으로 이동하여 새로 고침 후 '분류 모드로 전환' 버튼을 누릅니다. 그러면 프로젝트가 WebAssembly 패키지에 자동으로 빌드되고 휴대전화에서 계속 실행됩니다(그 후에는 클라우드가 필요하지 않으며 비행기 모드로 이동해도 됩니다!)

다음으로 배포로 이동하여 알고리즘을 Nano BLE Sense에 배포할 수 있습니다. 페이지. '펌웨어 빌드'에서 'Arduino Nano 33 BLE Sense'를 선택한 다음 '빌드'를 클릭합니다.

이것은 최신 알고리즘을 포함하여 Nano BLE Sense를 위한 완전한 펌웨어를 구축합니다. 화면의 지시에 따라 바이너리로 Arduino 보드를 플래시하십시오.

Arduino가 플래시되면 115, 200보드에서 USB에 연결되어 있는 동안 장치에 대한 직렬 포트를 열 수 있습니다. 직렬 포트가 열리면 Enter 키를 눌러 프롬프트를 표시한 다음:

> AT+RUNIMPULSE
추론 설정:
 간격:0.06ms.
 프레임 크기:16000
 샘플 길이:1000ms.
 No. 클래스 수:2
추론 시작, 중단하려면 'b' 누르기
녹화 중...
녹화 완료
예측(DSP:495ms., 분류:84ms., 이상 :0ms.):
 기침:0.01562
 노이즈:0.98438
2초 후 추론 시작...
녹음 중...
녹음 완료
 예측(DSP:495ms., 분류:84ms., 이상:0ms.):
 기침:0.01562
 노이즈:0.98438
2초 후 추론 시작...
녹음 중...
녹음 완료
예측(DSP:495ms., 분류:84ms., 이상:0ms.):
 기침:0.86719
 노이즈:0.13281 
2초 후에 추론 시작...
녹화 중...
녹화 완료
예측(DSP:495ms., 분류:84ms., 이상 현상:0ms.) :
 기침:0.01562
 소음:0.98438 

향후 작업

Arduino의 TinyML, 센서 및 Edge Impulse의 한계는 다음과 같습니다. 추가 작업에 대한 몇 가지 아이디어는 다음과 같습니다.