아야

Aya는 사용자를 인식하고 상호 작용할 수 있도록 사진을 저장하는 대화형 로봇입니다. Hack North 2017 및 Best Use of AWS의 우승자입니다.

스토리

영감

Amazon이 Alexa로 수행한 작업과 Google이 가정에서 수행한 작업을 보았을 때 우리는 컴퓨터화된 개인 비서의 시대가 도래했음을 확신했습니다. 하지만 어떻게 하면 더 인간답게 만들 수 있을지 고민했습니다. Aya는 인간처럼 보이고 느껴지는 로봇 개인 비서의 개념 증명입니다.

기능

Aya는 사진을 저장하여 사용자를 인식하고 들고 있는 물건을 알려주는 대화형 로봇입니다.

구축 방법

Aya는 임베디드 시스템의 악몽입니다! 다중 처리를 위해 서로 다른 스레드에서 실행되는 오디오 코덱이 있는 서보 시스템 인터페이스입니다.

26시간이 넘는 과정에서 물리적 부품을 3D 프린팅했습니다(오픈 소스 로봇 InMoov® 제공). Hack North 2017에서 제작 및 조립되었습니다.

Aya는 AWS Rekognition을 사용하여 얼굴 기하학을 비교하여 이미 만난 사람을 인식하고 새로운 사람을 만납니다. 인간이 아닌 가장 신뢰도가 높은 객체를 선택하고 Amazon Polly를 통해 실행하여 .ogg 파일을 생성합니다. 이 모든 일이 일어나는 동안 사용자 지정 서보 컨트롤이 있는 다른 스레드가 병렬로 실행되어 말과 함께 턱이 움직이도록 합니다.

우리가 직면한 과제

하드웨어 해킹은 어렵습니다! 와이어 녹기, 브레드보드 타는 것, 서보 과열 및 부품 허용 오차에 국한되지 않는 수천 가지 문제에 부딪쳤습니다.

프로젝트의 또 다른 어려운 측면은 서보 제어였습니다. 이를 위해서는 다른 스레드를 시작하고 음성과 함께 서보 제어를 실행해야 했습니다.

소프트웨어 면에서 Amazon Rekognition은 레이블 배열과 해당 신뢰도 수준만 출력하므로 이미지에 가장 관련성이 높은 레이블을 선택하기 어려운 경우가 많습니다. k를 사용하여 이 문제를 해결하려고 했습니다. - 유사한 단어의 그룹을 생성한 다음 각 그룹에 대한 문장을 생성하기 위한 클러스터링을 의미합니다. 그러나 하드웨어가 너무 많은 시간을 차지했기 때문에 불행히도 이를 완전히 구현할 시간이 없었습니다.

마지막으로, 이 모든 작업을 36시간의 예산(수면 제외!)으로 수행하는 것이 가장 큰 도전이었지만 일정을 준수하고 프로젝트를 민첩하게 만들어야 했습니다.

우리가 자랑스럽게 생각하는 성과

서보 시스템과 소프트웨어가 함께 맞물리는 것을 자랑스럽게 생각합니다. 무엇보다도 마찰이 거의 없고 멋진 결과물을 내면서 믿을 수 없을 정도로 잘 협력한 팀이 된 것을 자랑스럽게 생각합니다.

Aya의 다음 단계

AWS Rekognition의 출력을 클러스터링하기 위해 TensorFlow를 사용하고 서보 작동과 사운드를 더 잘 동기화하기 위해 생성된 오디오 파일에 파형 분석 기술을 적용하는 pyAudioAnalysis를 사용하려고 합니다.

더 많은 정보를 읽어보세요...

아야