DeepLabCut:움직이는 종의 신체 부위를 추적하는 오픈 소스 AI

• 새로운 딥 러닝 기반 알고리즘은 최소한의 훈련 데이터를 사용하여 움직이는 종의 신체 부위를 추적하고 라벨을 지정합니다.
• 전산 신체 모델, 시간 데이터 및 막대 모양이 필요하지 않습니다.

모든 종의 뇌를 이해하려면 행동을 정확하게 정량화할 필요가 있습니다. 비디오 추적은 다양한 구성에서 동물의 행동을 관찰하고 기록하는 가장 좋은 옵션 중 하나입니다. 분석을 크게 단순화하고 신체 부위의 고정밀 추적을 가능하게 합니다.

그러나 자세한 조사를 위해 행동의 특정 측면을 추출하는 것은 지루하고 시간 소모적인 프로세스일 수 있습니다. 기존의 컴퓨터 기반 추적은 기록하기 전에 마커의 위치와 수를 결정해야 하는 반사 마킹(신체 부분은 마커로 강조 표시됨)을 사용합니다.

이제 Harvard University와 University of Tübingen의 연구원들은 움직이는 종의 신체 부위를 자동으로 추적하고 레이블을 지정하는 DeepLabCut이라는 AI 도구를 개발했습니다. 이 마커 없는 포즈 추정 기술은 최소한의 훈련 데이터로 적절한 결과를 제공하는 딥 러닝 방법을 기반으로 합니다.

정확히 무엇을 했는가?

연구원들은 최근에 개발된 다중 사람 포즈 추정 모델인 DeeperCut에서 특징 탐지기 아키텍처를 조사했습니다. 그들은 적은 양의 훈련 사진(약 200장)만으로도 이 신경망을 훈련시켜 인간과 같은 정확도를 달성할 수 있음을 보여주었습니다.

이는 한 작업에 대해 훈련된 모델을 다른 관련 작업에 적용하는 기계 학습 방법인 전이 학습(transfer learning)에 의해 가능하게 되었습니다. 이 연구에서 집약적으로 심층 신경망을 기반으로 하는 특징 탐지기는 객체를 인식하기 위해 거대한 데이터 세트(ImageNet)에서 사전 훈련되었습니다.

따라서 더 적은 수의 프레임(수백 개)에 레이블을 지정하여 이러한 강력한 기능 감지기를 훈련할 수 있습니다. 훈련을 받으면 실험적으로 관련된 광범위한 신체 부위의 위치를 ​​파악할 수 있습니다.

연구원은 냄새가 안내하는 탐색 작업 중에 귀, 주둥이, 꼬리 기저부를 추적하여 DeepLabCut의 기능을 시연했습니다. 그들은 또한 3D 챔버에서 초파리의 여러 부분을 추적했습니다.

신경망은 CUDA 딥 러닝 프레임워크로 가속화된 TensorFlow가 포함된 NVIDIA Titan Xp 및 GeForce GTX 1080 Ti GPU에서 훈련됩니다. 이러한 강력한 하드웨어를 사용하면 682*540 크기의 프레임을 30fps로 처리할 수 있습니다.

이 도구는 비디오 촬영에서 추출한 자세 추정치를 기반으로 실시간 피드백을 제공할 수 있습니다. 또한 처리 속도를 더욱 높이기 위해 종 주변에 적응 방식으로 입력 프레임을 자르거나 처리 시간을 늘리기 위해 네트워크 아키텍처를 조정할 수 있습니다.

참조:arXiv:1804.03142 | GitHub

전반적으로 DeepLabCut은 4단계로 작동합니다.

연구원 제공

이것이 어떻게 도움이 되나요?

위에서 설명한 방법은 전산 바디 모델, 시간 데이터, 막대 모양 또는 복잡한 추론 알고리즘이 필요하지 않습니다. 컴퓨터 비전에 질적으로 다른 문제를 제기하는 여러 행동에 신속하게 배포할 수 있습니다.

연구자들은 Drosophila, 쥐, 말에 DeepLabCut을 시연했지만, 방법에 제한이 없으며 다른 종에도 적용할 수 있습니다.

읽기:스팸 필터링 AI가 동물의 행동을 학습합니다28

비디오 촬영을 통해 동물을 추적하면 생체 역학에 대한 새로운 통찰력을 발견하고 뇌 기능을 이해하는 데 도움이 됩니다. 인간의 경우 물리 치료에 사용되는 기술을 개선하고 운동 선수가 과거에는 불가능했던 이정표에 도달하도록 도울 수 있습니다.