아야(Aya): AWS 기반 수상 경력 인터랙티브 로봇 개인 비서

아야(Aya)는 AWS Rekognition으로 얼굴을 인식하고 물체를 식별하며, Amazon Polly로 자연스러운 음성 응답을 제공하는 수상 경력의 인터랙티브 로봇입니다.

개발 스토리

영감

아마존 알렉사와 구글 홈을 보며 진정한 인간형 개인 비서의 비전을 갖게 되었습니다. 아야는 인간적인 외모와 첨단 AI를 결합한 우리의 개념 증명 로봇입니다.

기능

아야는 사용자 사진을 저장해 본인을 인식하고, 앞에 있는 물체를 식별한 뒤 음성으로 결과를 전달합니다.

구현 방식

아야 구축에는 복잡한 임베디드 시스템이 필요했습니다: 서보 제어가 오디오 코덱과 별도 스레드에서 동작해 음성과 턱 움직임을 동시 구현했습니다. 2017년 Hack the North 해커톤 기간 동안 26시간에 걸쳐 오픈소스 InMoov 디자인을 3D 프린팅했습니다. 시스템은 AWS Rekognition으로 얼굴 비교, Amazon Polly로 음성 합성, 병렬 스레드로 실시간 서보 구동을 수행합니다.

도전 과제

하드웨어 문제는 전선 과열, 브레드보드 소손, 서보 과열, 공차 이슈 등 다양했습니다. 음성과 서보 제어 동기화에는 세심한 멀티스레딩이 필요했습니다. 소프트웨어 측면에선 Rekognition의 신뢰도 배열에서 가장 관련성 높은 레이블을 선택하는 것이 까다로웠으며, k-평균 클러스터링을 탐구했으나 시간 제약으로 완전 구현은 못했습니다. 36시간 해커톤 내 최소 수면으로 모든 것을 완수하며 민첩함과 집중력을 유지해야 했습니다.

자랑스러운 성과

서보 시스템과 소프트웨어 스택을 성공적으로 통합했고, 행사 내내 훌륭한 팀워크를 유지해 완성도 높은 결과물을 도출했습니다.

아야의 다음 단계

향후 작업으로는 TensorFlow를 적용해 Rekognition 출력을 클러스터링하고, pyAudioAnalysis로 오디오 파형과 서보 모션을 더 정밀하게 동기화할 예정입니다.

자세히 보기…

Aya