리눅스 슈퍼컴퓨터에서 16,384개 윈도우 앱을 단 5분 만에 실행

• MIT 연구진, 리눅스 슈퍼컴퓨터에서 16,384개 윈도우 애플리케이션을 5분 내 동시 실행하는 모델 개발
• 링컨 랩 LLMapReduce 기술과 와인(Wine) 윈도우 호환성 레이어 사용

무어의 법칙 속도가 둔화되면서 애플리케이션 성능 향상을 위해 병렬 처리가 필수적이 되었습니다. 신경망, 물리 시뮬레이션, 데이터 분석 애플리케이션이 급속히 진화하며 병렬 처리 파워를 활용해 성능 목표를 달성하고 있습니다.

이러한 데이터 집약적 애플리케이션을 실행하려면 마이크로소프트 윈도우처럼 병렬 컴퓨팅 구현 경험이 긴 특정 운영체제 기반 소프트웨어가 필요합니다.

그러나 세계 상위 500대 슈퍼컴퓨터는 리눅스에서 실행되며, 수천 코어에서 인터랙티브 애플리케이션을 초 단위로 실행할 수 있습니다. 보통 가상 머신(VM)을 사용해 리눅스 컴퓨터에서 윈도우 프로그램을 실행하는데, 이는 애플리케이션에 많은 오버헤드를 부과합니다.

슈퍼컴퓨터에서 다중 VM 실행 시 VM당 수초(때로는 수분) 소요됩니다. 기존 슈퍼컴퓨터에서 수천 코어로 확장하면 효율성과 성능 문제가 발생해 수많은 윈도우 애플리케이션을 동시에 실행하기 어렵습니다.

이제 MIT 연구진이 현대 슈퍼컴퓨터의 수천 프로세서에서 윈도우 애플리케이션을 빠르게 실행하고 런칭하는 새 기술을 개발했습니다. 특히 16,000개 윈도우 애플리케이션을 5분 내 런칭하는 것을 시연했습니다(각 애플리케이션은 코어 1개씩 처리).

작동 방식

리눅스 슈퍼컴퓨터에서 윈도우 애플리케이션을 빠르게 런칭하기 위해 연구진은 링컨 랩 LLMapReduce(멀티레벨 맵리듀스) 기술과 와인(Wine) 윈도우 호환성 레이어를 사용했습니다. 고성능 컴퓨팅을 위해 멀티레벨 스케줄링은 분석 코드를 약간 변경해 단일 작업 실행으로 수많은 데이터셋을 처리합니다.

MIT 슈퍼클라우드(SuperCloud) 소프트웨어 스택은 LLMapReduce에 접근해 수천 작업을 클러스터에 효율적으로 실행하는 사용하기 쉬운 인터페이스를 제공합니다. 복잡한 병렬 스케줄링, 의존성 해결, 작업 제출 작업을 한 줄 코드로 줄이면서 각 작업의 레이턴시를 최소화해 작업 성능을 동시 향상시킵니다.

LLMapReduce가 특정 언어에 종속되지 않아 모든 실행 파일에 작동하므로 수많은 와인 인스턴스를 동시에 런칭하기에 이상적입니다.

SLURM 스케줄러 구성요소 | 연구진 제공

리소스를 빠르게 식별하고, 작업에 할당하고, 할당된 리소스에서 작업 실행을 스케줄하고, 런칭하고, 실행 중 모니터링하고, 작업 종료 시 에필로그 정리까지 수행하는 오픈소스 잡 스케줄러 슬럼(Slurm Workload Manager)을 사용했습니다.

참조: arXiv:1808.04345

결과

윈도우 인스턴스 런칭 시간 및 런칭 속도

연구진은 648개 컴퓨트 노드(각 노드당 최소 64개 제온 파이 코어), 총 41,472개 코어를 가진 슈퍼컴퓨터에 시스템을 구현했습니다. 1,2,4,8...256 노드에서 단일 윈도우 인스턴스 실행 후, 256개 노드 각각에서 2,4,8...64 인스턴스를 실행해 총 16,384개 동시 인스턴스를 달성했습니다.

참고: 메모리 처리 장치, AI 알고리즘 효율적으로 구현 가능

이 모든 인스턴스 실행에 약 5분이 소요되어 슈퍼컴퓨터에서 광범위한 실행 가능한 윈도우 애플리케이션을 가능하게 했습니다. 팀은 더 많은 프로세서에서 더 다양한 프로그램을 실행하도록 이 기능을 확장할 계획입니다.