실시간 AI, 흑백 비디오를 압도적 정확도로 즉시 컬러화

• 새로운 딥러닝 알고리즘으로 편집자가 장면 내 한 프레임만 컬러화하면 전체 비디오를 빠르게 컬러화 가능
• 높은 정확도, 효율성, 기존 방법 대비 최대 50배 빠름

비디오는 프레임 간 많은 중복 데이터를 포함하며, 흑백 프레임 각각을 수동으로 컬러화하는 데 막대한 시간이 소요됩니다. 이러한 중복성은 비디오 인코딩과 압축에서 광범위하게 연구됐지만, 비디오 컬러화 같은 고급 비디오 처리에서는 덜 탐구되었습니다.

양방향 CNN 모델, 유사도 가이드 필터링, 옵티컬 플로우 기반 워핑 등 연속 프레임 간 지역적 관계를 처리해 데이터를 전파하는 수많은 알고리즘이 있습니다. 이들은 명백한 움직임이나 사전 설계된 픽셀 수준 특징을 사용해 프레임과 픽셀 간 유사성을 모델링합니다.

그러나 이러한 알고리즘엔 여러 한계가 있습니다. 예를 들어 프레임 간 고수준 관계를 표현할 수 없고, 이미지 구조를 정확히 반영할 수 없습니다. 이러한 한계를 극복하기 위해 엔비디아(NVIDIA) 연구진은 편집자가 장면 내 단일 프레임만 컬러화하면 전체 클립을 빠르게 컬러화할 수 있는 딥러닝 기반 새 알고리즘을 개발했습니다.

작동 원리

연속 프레임 간 고수준 유사성을 명시적으로 학습하기 위해 연구진은 전파 구성요소를 포함하는 시간적 전파 네트워크(temporal propagation network)를 개발했습니다. 이는 한 프레임의 특성(색상 등)을 다른 프레임으로 전송합니다. 이를 위해 컨볼루션 뉴럴 네트워크(CNN)에 의해 구동되는 선형 변환 행렬을 사용합니다.

CNN은 컬러화된 프레임에서 어떤 색상을 전송할지 결정하고 나머지 흑백 프레임에 채웁니다. 이 기법이 다른 점은? 편집자가 이미지 일부에 주석을 다는 인터랙티브 접근법을 통해 더 나은 컬러화 결과를 얻을 수 있습니다.

시간 영역에서 전파 학습을 위해 연구진은 2가지 규칙을 적용했습니다. 첫째, 프레임 간 전파는 역변환 가능해야 합니다. 둘째, 대상 요소는 전체 과정에서 보존되어야 합니다.

제안된 기법이 이미지 기반 분할 방법 없이도 기존 최첨단 방법론과 비교 가능한 괜찮은 결과를 달성함을 보였습니다.

참조: arXiv:1804.08758 | NVIDIA

이 네트워크 훈련을 위해 엔비디아 타이탄 XP(NVIDIA Titan XP) GPU를 사용했습니다. 고다이나믹 레인지, 색상, 마스크 전파를 위해 여러 데이터셋의 수백 개 클립으로 훈련했습니다. 네트워크는 약 60만 프레임, 7,260개 비디오 시퀀스가 포함된 ACT 데이터셋으로 구성되었습니다.

제안된 기법의 장점

1. 높은 정확도: 새 방법은 이전 작업 대비 훨씬 나은 비디오 품질을 달성합니다.
2. 높은 효율성: 실시간 실행으로 이전 방법 대비 최대 50배 빠릅니다. 모든 비디오 프레임을 병렬 처리해 효율을 더욱 높입니다.

참고: 엔비디아 AI, 30fps 비디오를 240fps로 변환

현재 기법은 클립에서 시간에 따라 데이터를 전파하는 간단한 방법을 제공합니다. 향후 몇 년간 연구진은 추적, 시맨틱, 세그멘테이션 같은 고수준 비전 단서를 시간적 전파에 통합하는 방법을 모색할 예정입니다.