메타데이터 기반 데이터 인사이트로 IoT 성능 향상

IoT 데이터가 엔터프라이즈 비즈니스 운영의 더 중요한 부분이 됨에 따라, 데이터 분석 및 처리 지연 시간을 줄이는 능력이 차이를 만들 수 있습니다. 그것은 실시간의 약속을 새로운 차원으로 끌어올립니다.

IoT 네트워크를 통해 많은 데이터가 이동합니다 - 자료의 중요성을 식별하고 위치를 파악하는 것을 늦출 정도까지. 메타데이터 - 데이터에 대한 데이터 - 는 특히 인덱싱과 비정형 데이터 식별에 있어 데이터 왕국의 열쇠입니다. 데이터가 엔터프라이즈 기능을 압도할 수 있는 것처럼, 메타데이터는 상황을 더 늦출 수 있습니다.

최근 IEEE 에지 컴퓨팅 컨퍼런스에서 제시된 새로운 제안은 많은 애플리케이션 도메인 내에서 테라바이트의 메타데이터가 할당되는 문제 - 그들이 "효율적이고 확장 가능한 메타데이터"라고 부르는 것, 프리-에지, 배치 시대에는 필요하지 않았을 용어 - 를 해결하는 방법을 제시합니다.

연구자인 일리노이 대학교의 빙 장(Bing Zhang)과 버펄로 대학교의 테브피크 코사르(Tevfik Kosar)는 IoT 네트워크를 통해 메타데이터를 더 빠르고 효율적으로 이동하는 솔루션을 제시했습니다. 또한 네트워크 전반에서 메타데이터 접근을 캐싱하고 예측하는 방법을 고안했는데, 이는 잠재적으로 데이터 접근과 이동의 지연 시간을 줄일 수 있습니다. "약 2,000만 메타데이터 접근 작업을 실제 감사 추적에서 재생했으며, 우리 시스템은 프리페치 예측에서 80% 정확도를 달성하고 평균 가져오기 지연 시간을 최첨단 메커니즘 대비 50% 줄였습니다."

참고: 딜로이트 보고서, 데이터 현대화 과제 범위 상세

이미 "모든 I/O 작업의 50% 이상이 메타데이터 집약적 컴퓨팅 때문이며 파일 속성 읽기 요청이 모든 워크로드에서 지배적입니다."라고 장과 코사르는 말합니다. 그들은 더 적극적인 프리페치 루틴 - 곧 있을 사용자 요청을 예상하여 스토리지에서 임시 메모리로 데이터를 이동하는 것 - 이 실제 데이터 자체보다 메타데이터와 더 잘 작동할 수 있다고 말합니다.

저자들은 야후 하둡 그리드 추적 로그(Yahoo Hadoop grid trace logs)를 야후! 웹스코프(Webscope) 데이터셋에서 사용하여 그러한 아키텍처를 테스트했습니다. 2010년 하둡 네임 노드의 지속적 일일 메타데이터 작업으로 구성됩니다. 시스템은 "메타데이터 작업에서 80% 예측률을 달성하고 평균 가져오기 지연 시간을 다른 최첨단 메커니즘 대비 50% 줄였습니다."라고 보고합니다. "이것은 IoT 네트워크에 친화적이며, 제한된 컴퓨팅과 스토리지 역량을 가진 IoT 기기들이 근접 에지/포그 컴퓨트 노드와 같은 평균 가져오기 지연 시간을 달성할 수 있게 합니다."

IoT 데이터가 엔터프라이즈 비즈니스 운영의 더 중요한 부분이 됨에 따라, 데이터 분석 및 처리 지연 시간을 줄이는 능력이 차이를 만들 수 있습니다. 그것은 실시간의 약속을 새로운 차원으로 끌어올립니다.