데이터에 대한 데이터로 에지 얻기

IoT 데이터가 엔터프라이즈 비즈니스 운영의 더 중요한 부분이 됨에 따라 데이터 분석 및 처리의 지연 시간을 줄이는 기능이 차이를 만들 수 있습니다. 실시간의 가능성을 새로운 차원으로 끌어올립니다.

IoT 네트워크를 통해 이동하는 많은 데이터가 있습니다. 중요한 데이터를 식별하고 찾는 것이 속도를 늦출 수 있는 지점까지입니다. 메타데이터(데이터에 대한 데이터)는 특히 비정형 데이터를 인덱싱하고 식별할 때 데이터 왕국의 핵심입니다. 데이터가 엔터프라이즈 기능을 압도할 수 있는 것처럼 메타데이터는 작업 속도를 훨씬 더 늦출 수 있습니다.

최근 IEEE Edge Computing 컨퍼런스에서 발표된 새로운 제안은,
테라바이트 규모의 메타데이터가 많은 애플리케이션 도메인 내에서 할당되는 문제를 해결할 수 있는 방법을 제공합니다. 이를 "효율적이고 확장 가능한 메타데이터"라고 부르며, 이는 엣지 이전의 배치 시대에는 필요하지도 않았을 용어입니다.

일리노이 대학의 Bing Zhang과 Buffalo 대학의 Tevfik Kosar 연구원은 IoT 네트워크에서 메타데이터를 더 빠르고 효율적인 방식으로 이동하는 솔루션을 제시했습니다. 또한 네트워크 전반에 걸쳐 메타데이터 액세스를 캐시하고 예측하는 방법을 고안하여 잠재적으로 데이터 액세스 및 이동의 대기 시간을 줄일 수 있습니다. "실제 감사 추적에서 약 2천만 건의 메타데이터 액세스 작업을 재생했습니다. 이 작업에서 우리 시스템은 프리페치 예측 동안 80%의 정확도를 달성하고 최첨단 메커니즘과 비교하여 평균 가져오기 대기 시간을 50% 줄였습니다."

참조: 딜로이트 보고서 세부 데이터 현대화 과제 범위

이미 "모든 I/O 작업의 50% 이상이 메타데이터 집약적
모든 워크로드에서 컴퓨팅 및 파일 속성 읽기 요청이 지배적입니다.”라고 Zhang과 Kosar는 말합니다. 그들은 다가오는 사용자 요청을 예상하여 데이터를 스토리지에서 임시 메모리로 이동하는 보다 적극적인 프리페치 루틴이 실제 데이터 자체보다 메타데이터에서 더 잘 작동할 수 있다고 말합니다.

작성자는 Yahoo!의 Yahoo Hadoop 그리드 추적 로그를 사용하여 이러한 아키텍처를 테스트했습니다. 2010년 하둡 네임노드의 지속적인 일일 메타데이터 작업으로 구성된 Webscope 데이터셋. 시스템은 "메타데이터 작업에서 80%의 예측률을 달성하고 다른 최첨단 메커니즘에 비해 평균 페치 지연을 50% 감소"를 달성했습니다. 그들은 보고합니다. "이는 컴퓨팅 및 스토리지 기능이 제한된 IoT 장치가 근접 에지/포그 컴퓨팅 노드와 동일한 평균 가져오기 대기 시간을 달성할 수 있는 IoT 네트워크에 적합합니다."

IoT 데이터가 엔터프라이즈 비즈니스 운영의 더 중요한 부분이 됨에 따라 데이터 분석 및 처리의 지연 시간을 줄이는 기능이 차이를 만들 수 있습니다. 실시간의 가능성을 새로운 차원으로 끌어올립니다.