페이스북 엔지니어, 데이터센터용 정밀 시간 어플라이언스 오픈소스로 공개

페이스북 엔지니어링 팀이 현대 데이터센터 타이밍 인프라의 핵심 요소인 고정밀 시간 어플라이언스를 설계하고 공개했습니다. 타임 카드라는 PCIe 카드를 만들어 범용 서버를 스트래텀-1 시간 소스로 변환하고, 오픈 컴퓨트 프로젝트(OCP)와 협력하여 오픈 타임 서버의 모든 구성 요소를 오픈소스 라이선스로 공개했습니다.

새로운 시간 장치가 필요한 이유

상용 시간 어플라이언스는 검증되었고 안정적인 경우가 많지만, 상당한 단점이 있습니다:

• 구식일 수 있고 보안 결함에 취약하며, 패치 주기가 수개월에서 수년에 이릅니다.
• 클로즈드 소스 펌웨어는 구성과 모니터링을 제한하며, 독점 CLI나 웹 UI는 자동화를 방해합니다.
• 독점 하드웨어는 수리가 불가능합니다. 구성 요소 고장 시 벤더 수리나 새 장치 구매가 필요합니다.
• 소량 생산으로 높은 마진이 붙어 장기 운영 비용이 비쌉니다.

이러한 제약으로 많은 조직이 타협을 받아들여야 했습니다. 우리는 대안을 모색하기로 했습니다: x86 하드웨어 기반의 목적 구축 오픈소스 시간 어플라이언스입니다.

시간 어플라이언스 프로토타이핑

초기 개념은 GNSS 수신기, 고안정성 발진기, FPGA 기반 처리를 단일 PCIe 카드에 결합한 것입니다. 블록 다이어그램은 아래와 같습니다:

GNSS 모듈은 시간 정보(ToD)와 1초당 1펄스(PPS) 신호를 모두 제공합니다. 고안정성 발진기(루비듐 또는 오븐 제어 크리스탈 발진기)와 결합하면 시스템은 나노초 수준의 정확도를 달성할 수 있습니다. PPS와 ToD는 하드웨어 타임스탬핑과 PPS 입/출력을 지원하는 고성능 NIC(예: NVIDIA Mellanox ConnectX-6 Dx)로 공급됩니다.

ts2phc 도구를 사용하여 NIC의 물리적 클럭을 GNSS PPS와 수십 나노초 이내로 동기화하여 접근 방식을 검증했습니다:

신뢰성을 높이기 위해 설계를 두 논리 블록으로 분할했습니다: 페이로드(정밀 시간 엔진)와 딜리버리(NIC). 페이로드는 FPGA 기반 엔진과 로컬 발진기를 사용하여 연속 PPS 펄스 사이 시간을 보간합니다. GNSS 손실 시 엔진은 원자 시계의 고유한 안정성에 의존합니다.

시간 엔진은 필터링, 동기화, 오류 검사, PCIe 서브시스템을 구현합니다. MAC의 카운터를 GNSS PPS와 지속적으로 비교하여 보정하며, 장기간에 걸쳐 서브나노초 정밀도를 달성합니다.

10MHz 레퍼런스(루비듐 클럭 또는 외부 SMA 입력)를 활용하여 125MHz(8ns 주기)로 업컨버트하고, 250ps 단계로 초 이하 증분을 연결합니다. 비례-적분 루프가 12.5× PLL을 통해 주파수를 미세 조정하고, 필요시 발진기에 직접 조정합니다.

홀드오버(GNSS 사용 불가 시 시간 정확도 손실)는 중요한 지표입니다. 프로토타입은 24시간 동안 300ns 미만의 드리프트를 달성하여 SA.53s MAC 사양 내에 잘 들어맞습니다.

실시간 시간 어플라이언스

설치되면 타임 카드는 호환되는 x86 서버를 NTP, PTP, SyncE 또는 기타 프로토콜에 독립적인 스트래텀-1 시간 소스로 만듭니다. 시스템의 정밀도는 대부분의 엔터프라이즈 시간 동기화 요구에 충분합니다.

설치는 간단합니다: 리눅스 커널 5.15+ 설치(또는 OCP GitHub 저장소에서 커널 5.12+용 드라이버 빌드). 드라이버는 PHC, GNSS, PPS, MAC 장치를 /sys/class/timecard/ocp0/ 하에 노출합니다:

$ ls -l /sys/class/timecard/ocp0/ lrwxrwxrwx. 1 root 0 Aug 3 19:49 device -> ../../../0000:04:00.0/ -r--r--r--. 1 root 4096 Aug 3 19:49 gnss_sync lrwxrwxrwx. 1 root 0 Aug 3 19:49 i2c -> ../../xiic-i2c.1024/i2c-2/ lrwxrwxrwx. 1 root 0 Aug 3 19:49 pps -> ../../../../../virtual/pps/pps1/ lrwxrwxrwx. 1 root 0 Aug 3 19:49 ptp -> ../../ptp/ptp2/ lrwxrwxrwx. 1 root 0 Aug 3 19:49 ttyGNSS -> ../../tty/ttyS7/ lrwxrwxrwx. 1 root 0 Aug 3 19:49 ttyMAC -> ../../tty/ttyS8/ 

chrony 또는 PTP 데몬을 구성하여 PHC를 레퍼런스 클럭으로 사용:

# chrony refclock PHC /dev/ptp2 tai poll 0 trust 

Calnex Sentinel로 검증한 결과 48시간 동안 NTP 안정성 ±40 μs, 서브나노초 PTP 오프셋을 보였습니다. 타임 카드와 Sentinel 간의 결합 PPS 오차는 ±200ns 이내로 유지됩니다.

모듈식 설계로 MAC을 비용 효율적인 OCXO나 TCXO로 교체할 수 있어 홀드오버 성능을 예산과 맞바꿀 수 있습니다.

설계 오픈소스화

영향을 확대하기 위해 오픈 컴퓨트 프로젝트와 협력하여 타임 어플라이언스 프로젝트(TAP)를 출범했습니다. 모든 사양, 회로도, BOM, 기계 도면, 소스 코드가 TAP GitHub 저장소에 공개되어 있습니다. Orolia와 NVIDIA 같은 벤더가 이미 타임 카드와 정밀 타이밍 NIC를 각각 생산하고 있습니다.

우리의 오픈 타임 서버 사양은 견고하고 완전히 제어 가능한 시간 어플라이언스를 만들기 위한 하드웨어와 소프트웨어 스택 조립 방법을 자세히 설명합니다. 전체 시스템을 소유함으로써 엔지니어는 더 깊은 가시성, 더 엄격한 보안, 더 간단한 유지보수를 얻습니다.

현재 어플라이언스는 큰 도약을 나타내지만, 우리는 정확성 개선, 페이스북의 글로벌 인프라 전반에 걸친 동기화 확장, 오픈 컴퓨트 커뮤니티와의 발전 공유를 계속할 것입니다.