실시간 AI가 비교할 수 없는 정확도로 흑백 비디오를 즉시 색상화합니다.

• 새로운 딥러닝 알고리즘을 사용하면 편집자는 장면의 한 프레임에 색상을 지정하여 전체 동영상을 빠르게 색상화할 수 있습니다. 
• 이전 방법보다 매우 정확하고 효율적이며 최대 50배 빠릅니다. 

영상은 프레임 사이에 수많은 중복 데이터로 구성되어 있으며, 각 흑백 프레임을 수동으로 색상화하는 데 막대한 시간이 소요됩니다. 이러한 유형의 중복성은 비디오 인코딩 및 압축에서 광범위하게 조사되었지만 클립 색상화와 같은 고급 비디오 처리에서는 덜 조사되었습니다.

데이터를 전파하기 위해 연속 프레임 간의 로컬 관계를 처리하는 다양한 알고리즘(양방향 CNN 모델, 유사성 기반 필터링, 광학 흐름 기반 워핑 등)이 있습니다. 뚜렷한 움직임이나 미리 설계된 픽셀 수준 기능을 사용하여 프레임과 픽셀 간의 유사성을 모델링합니다.

그러나 이러한 알고리즘에는 프레임 간의 높은 수준의 관계를 표현할 수 없고 그림의 구조를 정확하게 반영할 수 없다는 등 몇 가지 제한 사항이 있습니다. 이러한 한계를 극복하기 위해 NVIDIA 연구진은 편집자가 장면의 단일 프레임을 색상화하여 전체 클립을 신속하게 색상화할 수 있는 딥러닝 방법을 기반으로 한 새로운 알고리즘을 개발했습니다.

어떻게 작동하나요?

연속 프레임 간의 높은 수준의 유사성을 명시적으로 학습하기 위해 연구원들은 한 프레임의 특성(예:색상)을 다른 프레임으로 전송하기 위한 전파 구성 요소로 구성된 시간 전파 네트워크를 개발했습니다. 이를 위해 CNN(컨볼루션 신경망)으로 구동되는 선형 변환 행렬을 사용합니다.

CNN은 색상화된 프레임에서 어떤 색상을 전송해야 하는지 결정하고 이를 나머지 흑백 프레임에 채웁니다. 이 기술이 다른 기술과 어떻게 다른지 물으셨나요? 편집자가 이미지의 일부에 주석을 달아 최종 제품을 만드는 대화형 접근 방식을 통해 더 나은 색상화를 얻을 수 있습니다.

시간 영역에서의 학습 전파를 위해 연구자들은 2가지 규칙을 시행했습니다. 첫째, 프레임 간 전파는 가역적이어야 합니다. 둘째, 대상 요소는 전체 과정에서 보존되어야 합니다.

그들은 제안된 기술이 기존의 초기 기술 방법론에 필적하는 적절한 결과를 달성하기 위해 이미지 기반 분할 방법을 필요로 하지 않는다는 것을 보여주었습니다.

참조: arXiv:1804.08758 | 엔비디아

이 네트워크를 훈련하기 위해 연구원들은 NVIDIA Titan XP GPU를 사용했습니다. 높은 동적 범위, 색상 및 마스크 전파를 위해 여러 데이터 세트의 수백 개의 클립에 대해 훈련되었습니다. 네트워크는 약 600,000프레임의 7,260개 비디오 시퀀스로 구성된 ACT 데이터세트로 구성됩니다.

제안된 기법의 장점

1. 높은 정확도: 새로운 방법은 이전 작업에 비해 훨씬 더 나은 비디오 품질을 달성합니다.
2. 높은 효율성: 이는 실시간으로 실행되며 이전 방법보다 최대 50배 빠릅니다. 모든 비디오 프레임을 병렬로 처리하여 효율성을 더욱 향상시킵니다.

읽기:Nvidia AI는 30fps 비디오를 240fps로 변환할 수 있습니다

현재 기술은 시간이 지남에 따라 클립에서 데이터를 전파하는 간단한 방법을 제공합니다. 앞으로 몇 년 동안 연구자들은 시간적 전파를 위해 추적, 의미론, 분할과 같은 높은 수준의 시각 단서를 통합하는 방법을 알아내려고 노력할 것입니다.