단 5분 만에 Linux 슈퍼컴퓨터에서 16,384개의 Windows 앱 실행

• MIT 연구원들은 Linux 슈퍼컴퓨터에서 5분 내에 16,384개의 Windows 애플리케이션을 동시에 실행하는 모델을 개발했습니다. 
• 이를 위해 Wine Windows 호환성 레이어와 함께 Lincoln Lab LLMapReduce 기술을 사용했습니다.

무어의 법칙이 적용되는 속도가 줄어들고 있기 때문에 애플리케이션 성능을 높이기 위해 병렬 처리를 사용하는 것이 필요해졌습니다. 신경망, 물리적 시뮬레이션 및 데이터 분석 애플리케이션은 상당한 속도로 발전하고 있으며 성능 목표를 달성하기 위해 병렬 처리 기능을 활용합니다.

이러한 데이터 집약적인 애플리케이션을 실행하려면 Microsoft Windows와 같은 특정 운영 체제를 기반으로 하는 여러 가지 소프트웨어가 필요합니다. 이 운영 체제는 병렬 컴퓨팅 구현에 대한 오랜 경험을 가지고 있습니다.

그러나 세계 상위 500대 슈퍼컴퓨터는 Linux에서 실행되고 있으며 수천 개의 코어에서 대화형 애플리케이션을 몇 초 만에 실행할 수 있습니다. 일반적으로 가상 머신(VM)은 Linus 컴퓨터에서 Windows 프로그램을 실행하는 데 사용되며, 이는 애플리케이션에 많은 오버헤드를 부과합니다.

슈퍼컴퓨터에서 여러 VM을 실행하는 데는 가상 머신당 몇 초(때로는 몇 분)가 걸릴 수 있습니다. 기존 슈퍼컴퓨터에서 수천 개의 코어로 확장하면 확실히 효율성과 성능 문제가 발생하여 슈퍼컴퓨터에서 수많은 Windows 애플리케이션을 동시에 실행하기가 어려워집니다.

이제 MIT 연구진은 최신 슈퍼컴퓨터의 수천 개 프로세서에서 Windows 애플리케이션을 빠르게 시작하고 실행하는 새로운 기술을 개발했습니다. 특히 5분 이내에 16,000개의 Windows 애플리케이션이 실행되는 것을 시연했습니다(각 애플리케이션은 하나의 코어에서 처리됨).

어떻게 작동하나요?

Linux 슈퍼컴퓨터에서 Windows 애플리케이션을 신속하게 실행하기 위해 연구원들은 Wine Windows 호환성 레이어와 함께 Lincoln Lab LLMapReduce(다단계 맵 축소) 기술을 사용했습니다. 고성능 컴퓨팅의 경우 다단계 스케줄링은 단일 작업 실행으로 수많은 데이터 세트를 처리하도록 분석 코드를 약간 변경합니다.

MIT SuperCloud 소프트웨어 스택에는 LLMapReduce에 대한 액세스를 제공하여 클러스터에서 수천 개의 작업을 효율적으로 실행하고 복잡한 병렬 예약, 종속성 해결 및 작업 제출 작업을 한 줄의 코드로 줄이는 동시에 각 작업의 대기 시간을 최소화하여 작업 성능을 높이는 사용하기 쉬운 인터페이스가 함께 제공됩니다.

LLMapReduce는 특정 언어를 기반으로 하지 않기 때문에 모든 실행 파일과 함께 작동하므로 수많은 Wine 인스턴스를 동시에 시작하는 데 이상적입니다.

SLURM 스케줄러의 구성요소 | 연구원 제공

이들은 Slurm Workload Manager라는 오픈소스 작업 스케줄러를 사용하여 리소스를 신속하게 식별하고, 작업에 할당하고, 할당된 리소스에 대한 작업 실행을 예약하고, 실행하고, 실행 중인 작업을 모니터링하고, 작업이 종료되면 에필로그 정리를 수행했습니다.

참조:arXiv:1808.04345

결과

Windows 인스턴스의 시작 시간 및 시작 속도

연구원들은 총 41,472개의 코어를 갖춘 648개의 컴퓨팅 노드(각 노드에는 64개 이상의 Xeon Phi 처리 코어가 있음)를 포함하는 슈퍼컴퓨터에서 시스템을 구현했습니다. 그들은 1,2,4,8…256개 노드에서 단일 Window 인스턴스를 실행한 다음, 256개 노드 각각에서 2,4,8…64개의 인스턴스를 실행하여 총 16,384개의 동시 인스턴스를 제공했습니다.

읽기:메모리 처리 장치로 AI 알고리즘을 효율적으로 구현할 수 있음

이 모든 인스턴스를 실행하는 데 거의 5분이 걸렸으며, 슈퍼컴퓨터에서 다양한 Windows 애플리케이션을 실행할 수 있게 되었습니다. 팀은 이 기능을 더욱 다양한 프로그램을 실행하는 더 많은 수의 프로세서로 확장할 계획입니다.