수십억 규모의 Elasticsearch를 가능하게 하는 융합 기술

원래 관련이 없었던 기술이 흥미롭고 새로운 방식으로 결합되면서 디지털 컨버전스가 우리 주변에서 일어나고 있습니다. iPhone이 완벽한 예입니다. 휴대전화와 컴퓨터, 카메라, 센서가 결합되어 뛰어난 경험을 제공합니다.

융합은 임베디드 공간에서 새로운 것이 아닙니다. 임베디드 장치는 전통적으로 메모리 및 처리에 대한 더 엄격한 제한을 받았으며 많은 기술 영역을 최대한 활용하기 위한 방법으로 컨버전스를 수용했습니다. 따라서 우리는 서로 다른 규모의 기술이 수렴되는 시작 단계에 있으며 겉보기에 이질적인 기술이 함께 결합하여 기존 산업을 파괴하고 매력적인 새로운 기회를 제공할 것이라고 약속하므로 임베디드 공간도 혜택을 볼 것입니다. 한 가지 새로운 융합은 10억 규모 Elasticsearch 작업에 대해 거의 실시간 응답을 제공하기 위해 인메모리 가속 처리와 함께 k-NN 최근접 이웃(k-NN)을 사용하는 것입니다.

Elasticsearch는 문서 검색에 대한 JSON 요청을 받아 JSON 데이터를 결과로 전달하는 검색 엔진입니다. Elasticsearch 데이터 형식은 JSON으로 인코딩된 구조화된 데이터가 있는 문서입니다. Elasticsearch는 텍스트 검색 엔진으로 시작했지만 데이터베이스는 모든 유형의 데이터를 다룰 수 있으며 각 문서에는 고유한 ID와 데이터 유형이 있습니다.

구조가 "스키마 프리"이기 때문에 사용자가 필요로 하는 대로 문서를 정의할 수 있습니다. Elasticsearch 데이터베이스에 있는 문서의 예는 다음과 같습니다.

• 소비자 검색 요청을 식별하는 데 사용되는 사진입니다.
• 네트워크 침입, 이상 또는 부하 불균형을 식별하는 데 사용되는 네트워크 데이터 로그입니다.
• 고객 구매 패턴을 식별하고 재고 관리를 개선하는 데 사용되는 제품 영수증
• 자동 공유 및 복제에 사용되는 네트워크 아키텍처
• 특정 문학적 사례를 찾는 데 사용되는 텍스트 문서
• 컴퓨터 지원 번역에 사용되는 일대다 매핑이 ​​포함된 텍스트 문서입니다.

Elasticsearch는 배포되도록 설계되었습니다. 인프라에서 확장 가능하며 로컬 서버, 원격 서버 또는 클라우드 기반 운영에 유연합니다. 개방적이고 편안한 API 구조 덕분에 확장 가능한 검색 엔진을 플러그인과 함께 손쉽게 사용할 수 있습니다. 이러한 플러그인 중 하나는 하드웨어 가속 k-NN, 다중 모드 검색을 위한 벡터 사용, 점수 결과 병합 등 다양한 이점을 제공하는 GSI Technology의 플러그인입니다.

Elasticsearch는 확장성을 위해 분산 컴퓨팅 지원에 의존하고 있으며 백만 규모의 데이터베이스 검색을 위한 놀라운 속도는 몇 초 정도입니다. 분산 특성과 샤딩 지원으로 인해 Elasticsearch는 데이터 복제를 허용하고 검색을 병렬화하고 더 큰 데이터베이스에 대해 속도를 높입니다. HTTP 명령 게시에서 제공되는 분산 기능을 통해 임베디드 장치에서 다른 해상도의 여러 검색을 수행할 수 있습니다. 하나는 로컬 리소스에서, 다른 하나는 업스트림 리소스로 전송됩니다.

Core Elasticsearch는 계산량이 많은 완전 일치(모두 일치)를 사용하므로 속도가 느려지거나 대규모 데이터베이스 검색을 지원하기 위해 중복 하드웨어에서 비용이 상당히 많이 듭니다. 데이터베이스 크기를 늘리는 데 사용할 수 있는 한 가지 기술은 k-NN 검색입니다. 먼저 공통 그룹에서 유사성을 찾은 다음 해당 하나 이상의 그룹 내에서 최종 검색을 수행하여 작동합니다. 또한 이 기술을 사용하면 대기 시간에 매우 민감한 애플리케이션을 위해 클라우드 기반 컴퓨팅 팜 대신 에지 규모 서버에서 대규모 데이터베이스 검색을 수행할 수 있습니다.

계산적으로 어려운 접근 방식

k-NN은 Elasticsearch가 10억 규모 이상의 항목과 같은 초대형 데이터베이스를 지원하기 위한 방법론을 제공하지만 계산이 모두 필요합니다. 결과적으로 k-NN은 GPU 또는 CPU 코어 간에 데이터베이스를 이동해야 하는 제약으로 인해 가속화하기 어려운 과제였습니다.

워크로드 가속의 가장 큰 한계 중 하나는 프로세서와 메모리 사이에 필요한 데이터 교환의 한계입니다. 최신 프로세서에 사용되는 Von Neumann 아키텍처의 주요 단점은 프로세서와 스토리지 간의 데이터 전송 오버헤드입니다. CPU는 나가서 수행하는 모든 작업에 대해 데이터를 가져와야 합니다.

이 아키텍처는 오프로드 가속 환경에서 훨씬 더 비효율적입니다. 이러한 시스템의 성능은 작업을 요청하는 호스트와 작업을 수행하는 컴퓨팅 엔진이 메모리를 통해 데이터를 교환할 수 있는 속도로 제한됩니다.

Von Neumann 병목 현상을 완화하기 위해 메모리에서 데이터 흐름을 줄이는 아키텍처가 연구되고 있습니다. 그러나 메모리 집약적인 인공 지능 응용 프로그램을 다룰 때 병목 현상이 특히 심각합니다. AI 관련 애플리케이션의 작동은 메모리에 있는 방대한 양의 데이터를 빠르고 효율적으로 이동하는 데 달려 있습니다. 훈련된 데이터베이스는 작업 메모리와 벡터화된 입력 쿼리에 로드해야 합니다. 다음으로 비교 기능이 작동하려면 처리 및 로드해야 합니다.

이미 시장에 영향을 미치고 있는 입증된 기술 중 하나는 연관 처리 장치(APU)입니다. 인메모리 가속의 장점은 스토리지 자체가 프로세서가 된다는 것입니다. 이것은 캐시 메모리가 가까이 있는 처리 코어의 대규모 어레이가 아니라 읽기 라인 아키텍처에 내장된 컴퓨팅 유닛이 있는 메모리 어레이입니다.

따라서 APU는 계산을 가속화할 수 있는 메모리 어레이를 가짐으로써 차별화됩니다. 이러한 유형의 "가속" 프로세서는 표준 서버의 워크로드 전력 소비를 줄이는 동시에 성능을 몇 배나 가속화하는 것으로 나타났습니다.

Elasticsearch, k-NN 및 APU 가속의 수렴은 대기 시간을 줄이고 초당 더 많은 쿼리를 제공합니다. 또한 기존 CPU 전용 또는 GPU 가속 시스템보다 낮은 전력으로 수십억 규모의 데이터베이스 검색을 지원할 수 있습니다. 임베디드 공간에서 Elasticsearch는 에지 장치에서 로컬 검색을 수행하는 수단을 제공하는 동시에 네트워크에 대한 심층 검색을 위한 HTTP 요청을 보낼 수 있습니다. 다양한 결과를 결합하여 점점 더 날카로운 대답을 하거나 새로운 예외만 통합할 수 있습니다.

익스트림 에지 장치는 속도를 위해 로컬 관련 데이터베이스에서 검색을 수행하기 위해 CPU 리소스를 사용할 수 있습니다. 그런 다음 APU 밀도 승수를 사용하면 Elasticsearch 네트워크 요청이 클라우드로 전송되는 대신 에지 서버 또는 애그리게이터에서 효율적으로 실행될 수 있습니다. 자율적인 결정을 내릴 수 있지만 업스트림 심층 검색에서 백업 유효성 검사 또는 코스 수정을 계속 받는 로봇을 고려하십시오. 고속도로 표지판 게이트웨이를 통해 정보를 전송하고 상류 도로 정보 및 운전 지침을 반환받는 동안 규칙 세트 및 지역 조건에 따라 즉각적인 결정을 내리는 자동화된 차량을 고려하십시오.

앞으로 이 수렴이 어떤 새로운 기회를 가능하게 하는지 보는 것은 흥미진진할 것입니다.