인공 지능이 IT 운영 및 데브옵스를 어떻게 변화시킬 것인가

DevOps 및 IT 운영 팀이 향후 몇 년 동안 새로운 과제에 직면하게 될 것이라는 말은 다소 중복되는 것처럼 들립니다. 핵심 책임은 문제를 해결하고 과제를 극복하는 것이기 때문입니다.

그러나 프로세스, 기술 및 도구의 현재 환경이 변화하는 극적인 속도로 이에 대처하는 것이 상당히 문제가 되었습니다.

또한 비즈니스 사용자가 DevOps 및 IT 운영 팀에 가하는 압력은 엄청나며 앱을 탭하면 모든 것이 해결되어야 한다고 요구하고 있습니다. 그러나 백엔드에서 문제를 처리하는 것은 다른 게임입니다. 사용자는 문제를 찾고 해결하는 것이 얼마나 어려운지 상상조차 할 수 없습니다.

오늘날 IT 운영 및 DevOps 팀이 직면한 가장 큰 과제 중 하나는 환경에 기록되는 대규모 빅 데이터 스트림에서 작지만 잠재적으로 유해한 문제를 정확히 찾아낼 수 있다는 것입니다. 간단히 말해서 건초더미에서 바늘 찾기와 같습니다.

참조: 머신러닝이 디지털 기업을 혁신하는 방법

연중무휴 24시간 가용성을 자랑하는 온라인 서비스를 제공하는 회사의 IT 부서에서 근무하는 경우 익숙하게 들릴 수 있는 시나리오가 있습니다. 한밤중에 화난 고객이나 상사로부터 신용 카드 거래 실패 또는 애플리케이션 충돌에 대해 불평하는 전화를 받았다고 가정해 보겠습니다. 바로 노트북으로 이동하여 로그 관리 시스템을 엽니다. 설정된 시간 프레임에 10만 개 이상의 메시지가 기록되어 있음을 알 수 있습니다. 사람이 한 줄씩 검토할 수 없는 데이터 세트입니다.

그렇다면 이러한 상황에서 어떻게 하시겠습니까?

모든 IT 운영 및 DevOps 전문가의 이야기입니다. 그들은 특정 이벤트를 촉발한 중요한 이벤트를 찾기 위해 로그 항목의 바다를 탐색하면서 많은 잠 못 이루는 밤을 보냅니다. 여기에서 실시간 및 중앙 집중식 로그 분석이 구출됩니다. 로그 데이터의 필수 측면을 이해하고 주요 문제를 쉽게 식별하는 데 도움이 됩니다. 이를 통해 문제 해결 프로세스는 공원에서 산책이 되어 더 짧고 효과적일 뿐만 아니라 전문가가 미래의 문제를 예측할 수 있습니다.

AI와 IT 운영 및 데브옵스에 미치는 영향
AI(인공 지능)는 수십 년 전만 해도 화두였으나 이제는 다양한 목적으로 다양한 산업 분야에 공통적으로 적용되고 있습니다. 빅 데이터, AI 및 인간 영역 지식을 결합하여 기술자와 과학자는 SF 소설과 영화에서만 가능했던 놀라운 돌파구와 기회를 창출할 수 있게 되었습니다.

IT 운영이 민첩해지고 역동적이 되면서 엄청나게 복잡해지고 있습니다. 인간의 마음은 더 이상 일상적인 작업을 통해 스트리밍되는 빅 데이터의 속도, 양 및 다양성을 따라갈 수 없으므로 AI는 분석 및 의사 결정 프로세스를 최적화하기 위한 강력하고 필수적인 도구입니다. AI는 인간과 빅 데이터 사이의 격차를 메워 문제 해결 및 실시간 의사 결정의 부담을 크게 덜어주는 데 필요한 운영 인텔리전스와 속도를 제공합니다.

방에 있는 코끼리 다루기:AI가 도움이 되는 방법
위의 모든 상황에서 한 가지 공통점이 있습니다. 이러한 기업은 IT 및 DevOps 팀이 산더미 같은 로그 데이터 항목에서 문제를 신속하게 찾는 데 도움이 되는 솔루션이 처음에 논의된 것처럼 필요합니다. 환경에 균열을 일으키고 애플리케이션을 충돌시키는 단일 로그 항목을 식별하려면 로그 데이터를 필터링하기 위해 찾고 있는 오류의 종류만 알면 쉽지 않을까요? 물론 작업량이 절반으로 줄어들 것입니다.

한 가지 솔루션은 모든 종류의 관련 사고에 대한 데이터를 인터넷에서 수집하고 유사한 설정을 사용하는 사람들이 시스템에서 문제를 해결하는 방법을 관찰하고 시스템을 검색하여 잠재적인 문제를 식별하는 플랫폼을 갖는 것입니다. 이를 달성하는 한 가지 방법은 사용자가 이벤트를 조사, 모니터링 및 문제 해결하는 방법을 모방하고 데이터 자체를 분석하는 대신 인간이 데이터와 상호 작용하는 방식을 절제할 수 있도록 하는 시스템을 설계하는 것입니다. 예를 들어 이 기술은 아마존의 상품 추천 시스템과 구글의 PageRank 알고리즘과 비슷할 수 있지만 로그 데이터에 중점을 둘 것입니다.

인지적 통찰력 소개
최신 기술은 이 게시물에서 구상한 대로 솔루션을 구현합니다. 최근 많은 화제를 불러일으키고 있는 이 기술을 Cognitive Insights라고 합니다. 이 획기적인 기술은 머신 러닝 알고리즘을 사용하여 인간 도메인 지식을 오픈 소스 리포지토리, 토론 포럼 및 소셜 스레드와 함께 로그 데이터와 일치시킵니다. 이 모든 정보를 사용하여 IT 운영 및 DevOps 팀이 매일 직면하는 광범위한 중요 문제에 대한 솔루션을 포함할 수 있는 관련 통찰력의 데이터 저장소를 만듭니다.

실시간 장애물
DevOps 엔지니어, IT 운영 관리자, CTO, VP 엔지니어링 및 CISO는 로그 분석 및 관련 운영에 AI를 통합하여 효과적으로 완화할 수 있는 수많은 문제에 직면해 있습니다. Cognitive Insights의 여러 응용 프로그램이 있지만 두 가지 주요 사용 사례는 다음과 같습니다.

<울>

보안
분산 서비스 거부(DDoS) 공격이 점점 일반화되고 있습니다. 정부, 유명 웹사이트, 다국적 조직에만 국한되었던 것이 이제는 저명한 개인, SMB 및 중소기업을 대상으로 하고 있습니다.

이러한 공격을 방지하려면 의심스러운 활동을 식별하고 수천 개의 항목에서 잠재적인 위협을 정확히 찾아내는 중앙 집중식 로깅 아키텍처가 필수적입니다. 이를 위해 Cognitive Insights를 통한 안티 DDoS 완화가 매우 효과적인 것으로 입증되었습니다. Dyn 및 British Airways와 같이 과거에 DDoS 공격으로 상당한 피해를 입었던 주요 회사는 이제 해커를 차단하고 향후 공격으로부터 운영을 보호하기 위해 본격적인 ELK 기반 DDoS 방지 완화 전략을 마련했습니다. .

<울>

IT 운영
모든 로그를 한 곳에서 컴파일하고 각 항목을 주의 깊게 모니터링하고 등록하는 것이 좋지 않을까요? 글쎄, 확실히. 프로세스 흐름을 명확하게 보고 다양한 애플리케이션의 로그와 관련된 쿼리를 한 곳에서 모두 실행할 수 있으므로 IT 운영의 효율성이 크게 향상됩니다. IT 운영 및 DevOps 팀이 직면한 가장 큰 문제 중 하나를 해결하기 위해 환경의 대규모 로그 데이터 스트림에서 작지만 잠재적으로 유해한 문제를 정확히 찾아낼 수 있어야 합니다. 이것이 바로 Cognitive Insights가 하는 일입니다. 이 프로그램의 핵심은 ELK 스택을 기반으로 하기 때문에 데이터를 정렬 및 단순화하고 IT 운영에 대한 명확한 그림을 쉽게 가질 수 있습니다. Asurion 및 Performance Gateway는 Cognitive Insights를 활용하고 IT 게임을 한 단계 업그레이드한 완벽한 예입니다.

좋은 AI 통합으로 얻을 수 있는 효과
AI 기반 로그 분석 시스템을 사용하면 건초 더미에서 바늘을 찾는 것이 상당히 쉬워지고 문제를 효율적으로 해결합니다. 이러한 시스템은 전체 조직의 관리 및 운영에 상당한 영향을 미칩니다. 이 블로그에서 위에서 논의한 회사의 문제와 마찬가지로 AI를 로그 관리 시스템과 통합하면 다음과 같은 이점이 있습니다.

✔ 고객 성공 개선
✔ 모니터링 및 고객 지원
✔ 위험 감소 및 리소스 최적화
✔ 로깅 데이터에 액세스할 수 있도록 하여 효율성 극대화

즉, Cognitive Insights 및 기타 유사한 시스템이 데이터 로그 관리 및 문제 해결에 큰 도움이 될 수 있습니다.

Rent-A-Center(RAC)는 텍사스에 소재한 Fortune 1000대 기업으로 다양한 임대 제품과 서비스를 제공합니다. 멕시코, 푸에르토리코, 캐나다 및 미국 전역에 3000개 이상의 매장과 2000개의 키오스크가 있습니다. 회사는 두 개의 서로 다른 ELK 스택을 통합하려고 시도했지만 디스크 관리, 메모리 튜닝, 추가 데이터 입력 기능 및 기타 기술적인 문제에 매일 엄청난 비용과 시간을 들이는 것은 말할 것도 없이 매일 100GB 데이터를 처리하는 것이 너무 번거롭습니다. RAC는 Cognitive Insights로 전환하여 미래의 이상 징후를 감지할 수 있다는 확신을 갖게 되었고 지속적으로 증가하는 데이터 볼륨을 아주 쉽게 확장할 수 있게 되었습니다. 온프레미스 및 오프프레미스 ELK 스택을 관리하는 전담 IT 팀의 도움을 받았습니다.

데이터 로그 관리에서 오픈 소스의 역할
많은 유명 공급업체가 데이터 로그 관리 시스템의 효율성을 향상시키기 위해 다양한 방법으로 AI를 사전에 연구하고 테스트하고 있습니다. 일부 공급업체는 다음과 같습니다.

ELK가 빠르게 트렌드의 일부가 되고 있고 점점 더 많은 공급업체가 로깅 솔루션을 제공하고 있다는 사실은 놀라운 일이 아닙니다. 이는 기업이 막대한 초기 비용을 들이지 않고 설정을 설치할 수 있는 좋은 방법이 되었기 때문입니다. 또한 몇 가지 기본적인 그래프 작성 및 검색 기능을 허용하고 조직이 로그 데이터의 건초 더미에서 문제를 인식할 수 있도록 Cognitive Insights와 같은 최신 기술을 선택하여 신속하게 바늘을 찾고 주요 문제를 제거할 수 있습니다.

AI에 대한 온라인 토론에 참여하십시오. 인공 지능 및 빅 데이터에 대한 더 많은 통찰력과 정보를 보려면 LinkedIn 및 Twitter에서 Ronald van Loon과 연결하십시오.