AI가 실시간 3D 헤어 렌더링 구현 — 3만 가닥 머리카락 처리

연구진이 2D 이미지에서 완전한 3D 헤어 지오메트리를 생성하는 신경망을 개발했습니다. 이 네트워크는 최대 3만 가닥의 머리카락을 밀리초 단위로 렌더링할 수 있습니다. 웨이브, 곱슬, 직모 등 다양한 헤어스타일을 부드럽게 샘플링하고 보간할 수 있습니다.

가상 인간 구현의 난제, 머리카락 렌더링

기계에서 사실적인 머리카락을 렌더링하는 것은 가상 인간을 디지털화할 때 가장 어려운 과제일 것입니다. 눈, 코, 귀 같은 다른 부위와 달리 머리카락은 모양 변이가 매우 크고, 각 가닥의 변형성과 부피 구조 때문에 극도로 복잡합니다.

기존 시스템도 고품질 3D 헤어 모델을 생성할 수는 있지만, 대개 특정 하드웨어와 소프트웨어 설정이 필요해 쉽게 배포하기 어렵습니다. 일부 최신 기술은 데이터 기반 접근법을 쓰지만, 실시간 애플리케이션과 메모리 제한 시스템에는 적합하지 않습니다.

이제 마이크로소프트, 핀스크린, 서던캘리포니아 대학교 연구진이 2D 이미지에서 실시간으로 완전한 3D 헤어 지오메트리를 생성하는 딥러닝 모델을 구축했습니다.

점 구름(point clouds)이나 부피 격자(volumetric grids) 형태로 구조를 합성하는 대신, 머리카락 가닥을 직접 생성합니다. 이 방식은 비다양체(non-manifold) 구조에 더 적합하며, 더 높은 디테일과 정확도를 제공합니다.

HairNet

연구진이 'HairNet'이라 명명한 이 신경망은 3D 헤어 지오메트리를 연속적으로 생성하고 표현할 수 있습니다. 웨이브, 곱슬, 직모 등 다양한 헤어스타일을 부드럽게 샘플링하고 보간합니다.

신경망 파이프라인은 전처리, 헤어 가닥 생성, 재구성의 3단계로 구성됩니다.

HairNet은 2D 이미지에서 헤어의 고수준 특징(벡터 형태)을 추출하는 합성곱 인코더와, 두피에 고르게 분포된 32×32 가닥 특징을 생성하는 디컨볼루션 디코더로 이루어집니다. 이 가닥 특징들은 두피 공간에서 보간된 후, 일련의 3D 포인트로 표현됩니다.

이미지 출처: 연구진 제공

렌더링된 헤어스타일을 더 그럴듯한 공간으로 유도하기 위해 연구진은 신체 모델과 헤어 가닥 사이의 '재구성 손실(reconstruction loss)'과 '충돌 손실(collision loss)'을 도입했습니다. 입력 이미지를 가중치로 사용해 손실을 조절함으로써 정확도를 더욱 높였습니다.

학습

연구진은 4만 개의 헤어스타일과 무작위 시점에서 촬영한 16만 장의 2D 이미지로 구성된 대규모 데이터셋으로 신경망을 훈련했습니다. 네트워크는 단일 2D 사진에서 다양한 스타일, 색상, 길이의 3D 헤어를 재생성하는 법을 학습했습니다.

이미지 출처: 연구진 제공

AI는 NVIDIA Titan Xp GPU에서 PyTorch 프레임워크와 CUDA 딥러닝 라이브러리로 훈련되었습니다.

참조: arXiv:1806.07467

최대 3만 가닥의 머리카락을 밀리초 단위로 렌더링할 수 있습니다. 또한 비디오를 모방해 각 가닥을 렌더링하며, 모든 가닥이 서로 상호작용합니다.

향후 과제

연구진은 자사 기술이 아직 완벽하지 않다고 결론지었습니다. 아프로, 곱슬곱슬한 머리, 버즈 컷 같은 특이한 헤어스타일은 처리할 수 없습니다. 하지만 더 다양한 변형을 포함한 대규모 데이터셋으로 훈련하면 이 문제를 해결할 수 있을 것입니다.

주어진 이미지에서 머리카락이 약간 가려져 있을 때도 기술이 실패합니다. 향후 더 무작위적인 가림(occlusion)을 학습 데이터셋에 통합해 개선할 계획입니다.

관련 기사: AI가 누구든 어떤 자세로든 배치 가능 | 보이지 않는 자세에서 인간 이미지 합성