AI '플루리버스(Pluribus)', 포커 프로 5명 동시에 꺾다… 코드 비공개로 업계 '충격'

다중 플레이어 불완전 정보 게임 첫 AI 정복

최근 10년간 인공지능(AI) 분야에서 큰 진전이 있었습니다. 바둑과 체스 같은 게임이 AI 진전 평가 표준이 됐습니다.

지금까지 거의 모든 AI 모델은 상대 수가 명확히 보이는 2인용 게임을 정복했습니다. 반면 가장 인기 있는 포커 형식은 여러 플레이어가 참여하고 도박, 전략, 기술이 결합됩니다.

이제 페이스북과 카네기멜론대 연구진이 전략적 설정으로 포커 프로 전체 테이블을 이길 수 있는 AI 봇을 개발했습니다. 이는 6인용 무제한 홀덤(가장 인기 있는 포커 형식)에서 인간 전문가를 아웃블러프(out-bluff)하고 아웃벳(out-bet)한 최초의 AI 봇 — '플루리버스(Pluribus)' — 입니다.

플루리버스는 포커 전문가들(월드 시리즈 우승자 2명 포함)과 5,000핸드 대결해 압승했습니다. AI는 동크 베팅(donk betting) 등 인상적 전략 채택하고 노련한 프로처럼 블러핑했습니다.

사실 너무 성공적이어서 개발자들이 온라인 포커 산업을 망칠까 두려워 코드 공개를 거부했습니다. 알고리즘이 너무 강해 인간 전문가들이 악용할 여지를 찾지 못했습니다.

AI가 2명 이상 플레이어 벤치마크 게임에서 탑 프로를 이긴 건 이번이 처음입니다. 팀은 수년간 이 프로젝트 작업해왔습니다. 2017년 1대1 포커 가능한 봇 개발했고, 플루리버스는 그 봇의 훨씬 복잡한 버전입니다.

플루리버스, 단순 무차별 계산 넘어선 전략

플루리버스 게임 플랜 핵심은 자기 대련(self-play)으로 생성됩니다: 알고리즘이 자기 복사본과 대결하며 어떤 행동이 더 나은 결과로 이어지는지 결정하면서 점진적으로 개선됩니다.

참고: ScienceMag | DOI:10.1126/science.aay2400 | Facebook AI

이런 자기 대련 접근법은 전체 게임에 대한 청사진 전략을 오프라인으로 생성합니다. 그런 다음 인간과 실제 대결 중 상황에 맞는 전략을 실시간 탐색해 전략을 개선합니다.

플루리버스 청사진 전략, 64코어 프로세서 훈련 중 점진적 개선

AI는 다음 수 제한된 집합만 탐색해 옵션을 효율적으로 계산하는 새로운 온라인 탐색 알고리즘으로 구성됩니다. 숨은 정보 게임을 위한 더 빠른 자기 대련 알고리즘도 통합했습니다.

이 알고리즘들이 함께 플루리버스를 덜 강력한 컴퓨터와 적은 리소스로 훈련 가능하게 합니다. 맥락상, 플루리버스 훈련엔 약 150달러 클라우드 컴퓨팅 자원만 들지만, 다른 최근 AI 혁신 모델 훈련엔 수백만 달러 컴퓨팅 자원 필요합니다.

포커 정복에 사용된 알고리즘은 제품 가격 책정, 거래, 혼잡한 교통 속 자율주행차 라우팅 등 다른 분야에도 구현 가능합니다. 이 알고리즘들은 다른 다중 플레이어 게임에서 인간을 이기고 더 흥미로운 컴퓨터 게임 개발에도 적용될 수 있습니다.