AI가 소프트웨어 테스팅을 혁신합니다:신속한 자동화부터 전략적 통찰력까지

에이전트 AI 증강 테스터를 사용하면 테스터가 가치 사슬 위로 이동하기 시작하는 것을 볼 수 있습니다. 테스트 방법보다는 테스트 대상과 이유에 대해 생각하는 데 더 많은 시간을 소비하는 것을 봅니다. 반복적인 검사를 자동화하는 데 시간을 쏟는 대신 시스템, 사용자 및 위험에 대해 더 많이 추론하는 것을 봅니다.

간단히 말해서, 에이전트 AI를 사용하면 노력이 어떻게, 무엇을, 왜로 이동하는가, 즉 더 높은 가치의 사고가 작동하도록 이동하고 있습니다. 간단한 모델에 매핑하면 해당 변화는 다음과 같습니다:

다음은 제가 이 변화에서 보고 있는 가장 큰 "무엇"과 "이유"에 대한 몇 가지 관찰 내용입니다. 그리고 제가 이에 대해 격려를 받고 진정으로 낙관적인 이유는 다음과 같습니다.

AI는 테스트 자동화 비용을 줄여줍니다

수동 반복 검사 자동화, 테스트 데이터 생성, 테스트 결과에서 패턴 찾기 등 테스트의 기계적 부분을 자동화하는 것이 점점 더 쉬워지고 있습니다. 이것이 제가 AI 테스트에서 가장 좋아하는 부분입니다. 자동화 기계의 가격이 저렴해서가 아니라 더 중요한 일이 발생하기 때문입니다. 테스터는 마침내 생각할 시간과 공간을 얻게 됩니다.

그들은 한발 물러서서 전체 시스템을 살펴보고 진정으로 중요한 곳에 인지 에너지를 쏟을 수 있습니다. 즉, 중요한 소프트웨어 문제를 찾는 것입니다.

확장 가능한 자동화는 숙련된 테스트의 가치를 드러냅니다.

AI는 단지 자동화 생성 비용을 줄이는 것이 아닙니다. 이는 전문적인 인간 테스트의 실제 가치를 드러냅니다. 즉, 중요하고, 숨겨진, 미묘한 문제를 일관되게 찾는 테스트입니다. 그리고 AI가 반복적이고 지루한 작업을 더 많이 자동화함에 따라 테스터는 "이것을 어떻게 자동화합니까?"에서 위쪽으로 이동하고 있습니다. "어떤 이해관계자에게 가장 중요한 위험은 무엇입니까?".

병목 현상은 자동화가 아니라 생각입니다

그리고 이러한 변화, 즉 주의 재분배는 건전한 일입니다. 왜냐하면 병목 현상은 자동화된 적이 없기 때문입니다. 고품질 소프트웨어를 지속적으로 출시하는 속도를 제한하는 것은 심층 탐색, 실험 및 조사에 필요한 시간입니다. 이것이 중요한 위험을 표면화하는 것입니다.

충분한 자동화를 작성할 수 없기 때문에 팀이 실패하는 경우는 거의 없습니다. 그들은 적절한 질문을 빨리 하지 못하거나 할 수 없기 때문에 실패합니다.

• 우리는 시스템을 이해하고 있나요?

• 우리는 사용자를 이해하고 있나요?

• 어떤 위험이 어떤 이해관계자에게 가장 중요한지 이해하고 있습니까?

이러한 질문을 하지 않으면 아무리 자동화해도 우리를 구할 수 없습니다.

테스트는 생산 라인이 아닌 조사입니다

테스트는 공장 프로세스가 아닙니다. 우리가 아직 가지고 있지 않은 품질, 위험, 정보에 대한 조사입니다. 테스트의 과제는 위험을 구성하고, 실험을 설계하고, 가정에 의문을 제기하고, 테스트 중인 소프트웨어의 품질에 대한 유용한 이야기를 전달하는 것입니다.

그리고 우리는 이 모든 일을 하나의 목표를 염두에 두고 수행합니다. 즉, 다른 사람들(예:개발자 및 관리자)이 더 나은 정보에 입각한 결정을 더 빠르게 내릴 수 있도록 하는 것입니다(무언가 수정이든 배송이든). 그것이 테스트의 핵심입니다. AI가 이를 지원하지만 대체하지는 않습니다.

AI는 대체품이 아니라 증폭기입니다

이것이 바로 내가 AI를 소프트웨어 테스터를 대체하는 것이 아니라 기능 증폭기로 보는 이유입니다. 관련 테스트를 제안하고, 자동화 초안을 작성하고, 데이터를 생성하고, 로그를 요약할 수 있습니다. AI는 유용한 인공물과 통찰력을 생산하지만 사람은 판단을 내립니다.

AI는 테스터가 할 수 있는 일의 한계를 높입니다. 그것은 인간의 감각 형성의 필요성을 제거하지 않습니다. 다시 말하지만, AI는 모든 것을 증폭시키는 역할을 합니다. 독창성을 높이지만 위험도 높아집니다. AI가 더욱 자율화되면 활동을 통찰력으로 착각하기가 더 쉬워집니다. 이 기술을 최대한 활용하려면 기술이 우리를 오도할 수 있는 조건도 이해해야 합니다. 조심하기 위해서가 아니라 AI를 올바른 방향으로 이끌기 위해서입니다.

수량이 자신감으로 가장될 때

AI가 우리를 잘못 안내할 수 있는 첫 번째 방법 중 하나는 테스트 범위에 대한 환상을 만드는 것입니다. 테스트 아이디어가 쉽게 생성되면 테스트 양과 테스트 품질을 동일시하려는 유혹이 생깁니다. 그러나 전문가들은 AI가 생성한 수많은 검사가 여전히 실제 위험을 놓칠 수 있다는 것을 알고 있습니다. 적용 범위 수치가 인상적으로 보일 수 있고 대시보드가 ​​녹색으로 빛날 수 있지만 중요한 질문에 대한 답변이 남아 있을 수 있습니다.

물론, 우리는 AI를 우리 상황에 맞게 기반화할 수 있습니다. 그러나 우리 지식의 대부분은 암묵적입니다. 즉, 문서가 아닌 사람들의 머리 속에 자리잡은 종류입니다. AI는 마법처럼 접근할 수 없습니다. 따라서 AI가 테스트를 지시하도록 두지 마십시오. AI가 생성한 모든 테스트 아이디어를 "이게 무엇을 놓치고 있나요? 이것이 무엇을 가정하고 있나요? 이것이 무엇을 모르고 있나요?"라는 질문을 위한 프롬프트로 취급하세요. 순종이 아닌 안내가 테스터의 임무입니다.

빠른 자동화는 여전히 잘못된 자동화일 수 있습니다

확장 가능한 자동화는 중요하지 않은 일을 포함하여 모든 것의 자동화를 장려합니다. 전문 테스터들은 이 사실을 잘 알고 있습니다. Dorothy Graham이 말했듯이 "혼돈을 자동화하면 얻을 수 있는 것은 더 빠른 혼란뿐입니다." 전문 테스터는 자신을 위해 자동 검사를 생성하지 않습니다. 그들은 가치를 양으로 측정하지 않습니다. 그들은 실제 위험에 대해 거의 또는 전혀 알려주지 않는 대규모 자동 검사보다 위험을 드러내는 작은 세트의 검사가 훨씬 더 가치 있다는 것을 알고 있습니다. 그들은 "이 수표가 우리에게 어떤 정보를 제공하나요?"라고 묻습니다. 또는 "이것이 위험에 대해 의미 있는 것을 말해주는가?" 그들은 쉬운 것뿐만 아니라 중요한 것을 자동화하는 데 중점을 둡니다.

숨겨진 위험:AI는 소프트웨어 테스터의 숙련도를 낮출 수 있습니다

또 다른 미묘한 함정은 기술의 조용한 침식입니다. 전문 테스터는 어려운 부분의 연습을 중단하면 AI가 자신의 기술을 약화시킬 수 있다는 것을 이해합니다. 그들은 AI가 테스트 아이디어를 뱉어내도록 유도하는 경우가 많지만 익숙하지 않은 시스템을 모델링하고, 요구 사항의 모호성과 편견을 인식하거나, 불확실성 하에서 실험을 설계하기 위한 근육을 구축하지 못할 수도 있다는 것을 알고 있습니다.

그리고 이러한 근육이 약해지면 AI의 제안을 판단하는 능력도 약해집니다. 반전은 AI가 전문 테스터에게 더 높은 가치의 작업을 수행할 수 있는 기회를 제공하는 반면, 경험이 부족한 테스터나 다른 역할의 테스트(나 자신 포함)와 같은 아마추어 테스터가 AI의 결과를 문자 그대로 신뢰하도록 오해할 수도 있다는 것입니다. 탄탄한 테스트 기술이 없으면 유창한 제안을 건전한 제안으로 착각하기 쉽습니다.

전반적으로 AI는 테스터가 제공하는 내용을 증폭시킵니다. 이는 강점과 격차를 배가시킵니다. 이러한 비대칭성을 인정하는 전문가와 아마추어 테스터로 구성된 혼합 팀이 성공할 것입니다.

선택:더 나은 사고인가, 아니면 공허한 의식인가?

이를 통해 테스트 팀이 내려야 할 결정을 내릴 수 있습니다. AI는 새로운 선택 지점을 만듭니다. 더 나은 사고(강력한 모델링, 더 날카로운 질문, 더 나은 위험 분석)에 투자할 시간을 확보합니까, 아니면 더 많은 의식에 투자합니까?

의례란 테스트로 위장한 분주한 작업을 의미합니다. 쉽기 때문에 자동화된 검사 더미를 생성하거나, 새로운 위험이 나타날 때에도 AI 생성 테스트 계획을 엄격하게 따르거나, 실제 품질을 반영하지 않는 지표로 대시보드를 채우는 것입니다. 테스트의 미래는 이 선택에 달려 있습니다.

루프 마무리:무엇이 나를 낙관적으로 만드는가

그럼 내가 시작한 곳으로 돌아가겠습니다. AI는 테스터를 교체하는 것이 아니라 그들이 하는 일을 공개함으로써 테스트를 변화시키고 있습니다. 그리고 제가 함께 일하는 팀을 보면 고무적인 점을 발견했습니다. 몇 년 전 백로그 개선 회의에서 테스터의 첫 번째 질문은 항상 "이것을 어떻게 자동화합니까?"였습니다. "무엇을 테스트해야 하며 그 이유는 무엇입니까?" 대신.

하지만 지금은 뭔가 다른 점을 발견했습니다. 자동화가 쉬워지면서 대화도 바뀌었습니다. 더 많은 테스터들이 숨쉴 공간이 있기 때문에 무엇을, 왜 질문하는지 묻고 있습니다.

더 많은 대화는 스크립트보다는 위험에 관한 것입니다. 확인하는 것보다 작업을 이해하는 데 더 많은 에너지가 소요됩니다. 더 많은 테스터가 공허한 의식보다 더 깊은 사고를 선택하고 있습니다.

그렇습니다. AI에는 위험(적용 범위 환상, 잘못된 자동화, 탈숙련화)이 있습니다. 그러나 나는 소프트웨어 테스터들이 신중하게 반응하는 것을 봅니다. 그들은 판단을 피하기 위해 AI를 사용하는 것이 아니라 판단을 심화하기 위해 사용하고 있습니다.

순효과? AI가 마술적이어서가 아니라 테스터가 중요한 작업을 더 많이 수행할 수 있게 해주기 때문에 테스트가 점점 더 좋아지고 있습니다. 작업은 더 많은 자동화를 생성할 뿐만 아니라 소프트웨어 품질에 대한 더 많은 진실을 드러냅니다. 작업 속도가 빨라질 뿐만 아니라 더욱 깊어집니다.

그래서 저는 우리 기술의 미래에 대해 낙관적으로 생각하게 되었습니다.