Google AI는 비디오 색상화(자체 감독 방식)를 통해 객체 추적을 달성합니다.

• 새로운 컨벌루션 네트워크는 한 참조 프레임에서 다음 프레임으로 색상을 복사하는 방법을 학습합니다. 
• 이렇게 하는 동안 다양한 개체를 추적하고 폐색을 추적할 수 있습니다. 
• 사람의 자세도 추적할 수 있습니다. 

비디오에서 객체를 추적하도록 기계를 가르치는 것은 컴퓨터 비전에서 가장 어려운 작업 중 하나입니다. 주로 추적을 위해 레이블이 지정된 거대한 훈련 데이터 세트가 필요하기 때문입니다. 물론 지구상에서 일어나는 모든 일을 기록하고 라벨을 붙이는 것은 비현실적일 것입니다.

그렇기 때문에 라벨이 지정되지 않은 엄청난 양의 원본 클립을 활용하는 대신 사람의 감독 없이 추적하는 방법을 학습하는 시스템을 구축해야 합니다. 그게 왜 그렇게 중요하냐고 물으셨나요? 음, 비디오에서 개체를 추적하는 것은 개체 상호 작용, 활동 인식, 비디오 스타일화 등과 같은 다양한 응용 프로그램에 유용할 수 있습니다.

이제 Google 연구원들은 단일 참조 프레임에서 색상을 복사하는 방법을 학습하는 컨벌루션 네트워크를 개발했습니다. 회색조 프레임에서 직접 색상을 추정하는 대신 모델은 비디오의 첫 번째 참조 프레임의 색상을 사용하도록 제한됩니다.

올바른 색상을 복사하려면 네트워크가 내부적으로 올바른 영역을 가리키는 방법을 학습해야 합니다. 이 새로운 모델은 대규모 레이블이 지정된 데이터 세트에 대해 교육을 받을 필요 없이 다양한 개체를 추적하고 폐색을 추적할 수 있습니다.

재채색 동영상

이 인공 지능 시스템을 개발하기 위해 연구원들은 색상의 시간적 일관성을 활용했습니다. 이는 비디오의 특정 부분을 추적하도록 컨벌루션 네트워크를 교육하기 위한 막대한 훈련 데이터를 제공합니다. 예를 들어 조명을 즉시 켜는 등 색상이 시간적으로 일관되지 않는 예외적인 경우도 있습니다. 그러나 일반적으로 색상은 시간이 지나도 안정적으로 유지됩니다.

색상화된 단일 프레임 참조에서 예측된 색상 | 출처:Google

먼저 비디오의 색상이 제거된 다음 장면에 동일한 색상의 여러 객체가 포함될 수 있으므로 네트워크는 색상화 단계를 수행합니다. 이를 통해 기계는 특정 지역이나 물체를 추적하는 방법을 학습할 수 있습니다.

교육

연구원들은 Kinetics 데이터 세트(일상 활동을 묘사하는 50만 개의 비디오 클립 포함)를 사용하여 모델을 훈련했습니다. 그들은 첫 번째 프레임을 제외한 모든 비디오 프레임을 회색조로 변환하고 다음 프레임에서 올바른 색상을 추정하도록 네트워크를 훈련시켰습니다.

단일 프레임에서 원래 색상을 복사하기 위해 컨벌루션 네트워크는 내부적으로 올바른 색상을 가리키는 방법을 학습했습니다. 이로 인해 네트워크는 객체 추적에 사용할 수 있는 명시적인 메커니즘을 따르게 되었습니다.

네트워크는 감독 없이 객체를 추적합니다 | 출처:Google 

모델이 확실한 신원에 대해 훈련되지 않았음에도 불구하고 단일(첫 번째) 프레임만 사용하여 비디오의 객체나 시각적 부분을 추적하는 방법을 학습합니다. 동영상의 단일 지점이나 윤곽선 개체를 추적할 수 있습니다.

참조: arXiv:1806.09594 | 구글 AI 블로그

색상화 비디오에서 개체를 추적하기 위해 연구원들은 클립 전체에 색상을 전파하는 대신 대상 영역을 나타내는 레이블을 전파하는 한 가지 변경만 수행했습니다.

포즈 추적

인간 골격의 움직임 추적 | 출처:Google

네트워크는 또한 인간의 자세를 추적할 수 있습니다. 핵심 포인트로 레이블이 지정된 초기 프레임이 필요하며 나머지 작업을 수행합니다. 그러나 다음 프레임의 핵심 포인트를 예측하는 것은 생각만큼 쉽지 않습니다. 동영상 속 인물이 변형될 때 각 핵심 포인트를 세밀하게 위치 파악해야 하기 때문입니다.

연구원들은 인간의 관절 골격을 추적하는 JHMDB 데이터세트(인간의 자세와 행동에 대해 완전히 주석이 달린 데이터 세트)에서 네트워크의 자세 추적 기능을 시연했습니다.

네트워크는 광학 흐름과 유사한 성능을 얻습니다. 이는 일부 모션 기능을 학습할 수 있음을 나타냅니다. 최신 광학 흐름 기반 기술보다 약간 더 나은 성능을 발휘할 만큼 사람의 자세와 비디오 세그먼트를 추적하는 방법을 학습합니다.

읽기:Google AI는 두 개의 스틸 이미지로 짧은 비디오 클립을 만들 수 있습니다

모델이 아직 완벽하지 않습니다. 일부 실험에서는 비디오 색상을 지정하고 세그먼트를 추적하는 데 실패했습니다. 따라서 연구자들은 비디오 색상화 프로세스를 더욱 개선하여 궁극적으로 향상된 자기 감독 추적으로 전환할 수 있을 것으로 계획하고 있습니다.