구글 AI, 비디오 색칠하기로 객체 추적 구현 — 자기지도 학습 접근법

새로운 합성곱 네트워크가 기준 프레임의 색상을 이후 프레임으로 복사하는 법을 학습합니다. 이 과정에서 서로 다른 객체를 추적하고 가림 현상(occlusion)도 극복합니다. 사람 자세 추적도 가능합니다.

비디오 내 객체 추적, 컴퓨터 비전의 난제

비디오 속 객체를 추적하도록 기계를 가르치는 것은 컴퓨터 비전에서 가장 어려운 과제 중 하나입니다. 추적을 위해 방대한 양의 레이블링된 학습 데이터가 필요하기 때문입니다. 지구상에서 일어나는 모든 일을 기록하고 레이블링하는 것은 비현실적입니다.

그래서 방대한 양의 원시 비라벨 데이터 클립을 활용하는 대신, 인간의 감독 없이 추적을 학습하는 시스템을 구축할 필요가 있습니다. 왜 이게 그렇게 중요할까요? 비디오 객체 추적은 객체 상호작용, 행동 인식, 비디오 스타일화 등 수많은 응용 분야에서 유용하기 때문입니다.

이제 구글 연구진이 단일 기준 프레임에서 색상을 복사하는 법을 학습하는 합성곱 네트워크를 개발했습니다. 회색조 프레임에서 직접 색상을 추정하려 시도하는 대신, 모델은 비디오의 첫 번째 기준 프레임 색상을 사용하도록 제약됩니다.

올바른 색상을 복사하기 위해 네트워크는 내부적으로 올바른 영역을 가리키는 법을 학습해야 합니다. 이 새로운 모델은 대규모 레이블링 데이터셋으로 훈련하지 않고도 서로 다른 객체를 추적하고 가림 현상을 극복할 수 있습니다.

비디오 재색칠화(Re-colorization)

이 AI 시스템을 개발하기 위해 연구진은 색상의 시간적 일관성(temporal coherency)을 활용했습니다. 이는 합성곱 네트워크가 비디오 내 특정 부분을 추적하도록 가르치는 방대한 학습 데이터를 제공합니다. 색상이 시간적으로 일관되지 않는 예외적 경우도 있습니다(예: 조명을 켤 때). 하지만 일반적으로 색상은 시간에 따라 안정적으로 유지됩니다.

이미지 출처: Google

먼저 비디오를 흑백으로 변환한 뒤 네트워크가 색칠화 단계를 수행합니다. 한 장면 안에 같은 색상의 서로 다른 객체가 있을 수 있기 때문입니다. 이렇게 하면 기계가 특정 영역이나 객체를 추적하는 법을 학습할 수 있습니다.

학습 과정

연구진은 일상 활동을 담은 50만 개의 비디오 클립을 포함한 Kinetics 데이터셋을 사용해 모델을 훈련했습니다. 첫 프레임을 제외한 모든 프레임을 회색조로 변환하고, 네트워크가 이후 프레임의 올바른 색상을 추정하도록 훈련했습니다.

단일 프레임에서 원래 색상을 복사하기 위해 합성곱 네트워크는 내부적으로 올바른 색상을 가리키는 법을 학습했습니다. 이는 객체 추적에 활용할 수 있는 명시적 메커니즘을 네트워크가 따르도록 강제했습니다.

이미지 출처: Google

이 모델은 명확한 정체성(solid identities)으로 훈련되지 않았음에도, 오직 첫 번째 단일 프레임만 사용해 비디오 내 모든 객체나 시각적 부분을 추적하는 법을 학습합니다. 비디오 속 단일 점이나 윤곽이 있는 개체를 추적할 수 있습니다.

참조: arXiv:1806.09594 | Google AI Blog

비디오 색칠화로 객체를 추적하기 위해 연구진은 단 한 가지 변경만 했습니다: 색상을 클립 전체에 전파하는 대신, 대상 영역을 나타내는 레이블을 전파했습니다.

자세 추적(Pose Tracking)

이미지 출처: Google

이 네트워크는 사람 자세 추적도 가능합니다: 키포인트로 레이블링된 초기 프레임이 필요하며, 나머지는 네트워크가 처리합니다. 하지만 후속 프레임에서 키포인트를 예측하는 것은 쉽지 않습니다. 비디오 속 사람들이 변형될 때 각 키포인트의 세밀한 위치 파악이 필요하기 때문입니다.

연구진은 JHMDB 데이터셋(사람 자세와 행동에 대한 완전 주석 데이터셋)에서 인간 관절 골격을 추적하며 네트워크의 자세 추적 기능을 시연했습니다.

네트워크는 옵티컬 플로우(optical flow)와 유사한 성능을 얻어, 일종의 운동 특징을 학습하고 있음을 시사합니다. 사람 자세와 비디오 세그먼트를 충분히 잘 추적해 최신 옵티컬 플로우 기반 기법을 약간 능가합니다.

관련 기사: 구글 AI, 정지 이미지 두 장으로 짧은 비디오 클립 생성

모델은 아직 완벽하지 않습니다. 일부 실험에서는 비디오 색칠화와 세그먼트 추적에 실패했습니다. 따라서 연구진은 비디오 색칠화 과정을 더 개선할 계획이며, 이는 궁극적으로 향상된 자기지도 추적으로 이어질 것입니다.