자연어 처리(NLP)가 이커머스의 미래를 바꾸는 방식

'머지않아 모든 업계의 기업들이 NLP 같은 딥러닝 기술을 활용해 숨겨진 인사이트를 발굴하고, 자사의 비즈니스 경험과 전문성과 결합해 혁신과 차별화를 이룰 것입니다.'

자연어 처리 기술의 정체는?

간단히 말해 NLP(자연어 처리)는 현실 세계의 데이터를 컴퓨터가 이해하고 처리할 수 있게 해주는 기술입니다.

그 시작은 1950년대 앨런 튜링(Alan Turing)의 논문 "컴퓨터 기계와 지능(Computer Machinery and Intelligence)"으로 거슬러 올라갑니다. 그는 "기계가 생각할 수 있을까?"라고 물었습니다. 즉, 기계가 인간처럼 생각하고, 인간의 현실에서 사실과 데이터를 이해할 수 있느냐는 것이었습니다.

NLP는 계산 언어학(computational linguistics) 등 여러 학문을 활용해 비구조화된 인간 커뮤니케이션을 구조적으로 이해하려는 인공지능의 한 형태입니다. 말하자면 인간의 말(음성과 텍스트)을 이진 코드로 변환하는 것입니다.

70년 전만 해도 펀치카드가 인간과 컴퓨터의 유일한 소통 수단이었습니다. 오늘날 컴퓨터는 다양한 인간 언어를 '이해'하고, 음성 또는 텍스트 명령을 실행하며, 거기서 인사이트를 도출해 미래에 적용합니다. 예를 들어 온라인에서 빨간 스웨터를 한 번 본 적이 있다면, 컴퓨터는 당신이 빨간 스웨터를 좋아한다고 파악하고 "빨간색" + "스웨터"에 해당하는 모든 상품을 보여줍니다.

NLP는 인간 언어의 미세한 구성 요소, 즉 '인간 커뮤니케이션의 원자'를 분석해 작동합니다. 이는 단어, 구문, 제품 카탈로그의 설명 등이 될 수 있습니다. NLP는 이 '원자들'을 자체 단어 및 녹음 데이터베이스와 비교해 분류하고, 의미 분석(semantic analysis)을 통해 의미를 추출합니다. 즉, '이해'하는 것입니다.

이는 인간이 놓칠 수 있는 연결고리를 찾아낼 수 있음을 의미합니다. 오늘날 저렴한 대용량 처리 능력 덕분에 개인의 선호도에 대해 도출할 수 있는 추론은 놀랍습니다.

왜 지금 시장에 등장했나?

NLP는 오랜 세월 개발돼 왔습니다. 하지만 시장이 주목하기 시작한 건 최근입니다. 그 이유는 (1) NLP와 다른 AI 기술의 실제 비즈니스 적용 사례가 더 잘 이해되고 있고, (2) 마침내 이를 실제로 활용할 광범위한 컴퓨팅 파워를 갖게 되었기 때문입니다. 또한 우리 같은 기업들이 수직 산업 지식을 활용해 일반 모델을 넘어 경험 중심의 알고리즘을 만들어 전환율 증가나 매출 증대 같은 실질적 결과를 내고 있다는 점도 한몫했습니다.

최근까지 텍스트에서 상관관계를 이해하고 도출하는 데 필요한 딥러닝 알고리즘을 실행할 컴퓨팅 파워를 가진 조직은 학계나 정부 밖에는 거의 없었습니다. 최근 발전 덕분에 이제 방대한 텍스트 데이터를 빠르게 소비하고 의미를 도출할 수 있을 뿐만 아니라, 플링크(Flink)와 카프카(Kafka) 같은 기술의 등장으로 실시간 기술도 갖추게 되었습니다. 이를 사용자 행동과 함께 처리하고, 필요한 인사이트를 추출해 적절한 행동이나 결정으로 실시간 대응할 수 있게 된 것입니다.

가트너(Gartner)가 지적했듯 텍스트 데이터의 등장은 다양한 잠재적 고급 AI 애플리케이션에 대한 폭넓은 관심을 촉발했습니다. 예를 들어 고객 경험 분야에서 텍스트 메시지와 채팅으로부터 감정을 추출하는 NLP의 활용은 더 광범위한 산업 채택과 실용적 적용의 길을 열었습니다.

경험 개인화 분야에서 우리는 NLP를 활용해 제품 카탈로그 설명, 리뷰, 속성 및 기타 텍스트에서 인사이트를 추출하고, 고객의 제품과 그 상호관계를 더 깊이 이해하는(예: 저자극성, 100% 면 등) 가능성을 이제 막 탐색하기 시작했으며, 그 결과에 고무되어 있습니다.

머지않아 모든 업계의 기업들이 NLP 같은 딥러닝 기술을 활용해 숨겨진 인사이트를 발굴하고, 자사의 비즈니스 경험과 전문성과 결합해 혁신과 차별화를 이룰 것입니다.

조직이 NLP를 적용해야 할까? 실질적 기업 사례는?

명확히 효과를 본 분야 중 하나는 소매업입니다. 우리 고객 다수가 여기에 속합니다. 패스트 패션과 같이 제품 회전율이 높거나 계절마다 완전히 새로운 카탈로그를 선보이는 소매업체는 NLP 활용으로 특히 큰 이득을 볼 수 있습니다.

개인화는 전통적으로 각 제품에 대한 방대한 행동 데이터가 있을 때 가장 잘 작동합니다. 하지만 카탈로그의 큰 부분이 신제품이거나 틈새 상품이라 데이터가 전혀 없다면 어떨까요? 지금까지는 '베스트셀러' 추천을 보완책으로 제시하는 것이 최선이었습니다.

NLP를 사용하면 제품 설명, 스타일 및 핏 노트, 평점 및 리뷰 등의 텍스트 데이터를 가져와 해당 제품과 관련된 다른 제품에 대한 인사이트를 추출하고, 그 깊은 이해를 바탕으로 신제품이나 롱테일 제품에 즉시 보완적인 추천과 제안을 제공할 수 있습니다.

이는 정기적으로 새로운 스타일이나 계절 카탈로그를 빠르게 순환시키는 소매업체/브랜드에 게임 체인저가 되어, 처음부터 크로스셀 제안을 통해 쇼퍼에게 관련 제품을 개인화해 노출할 수 있게 해줍니다.

NLP의 다음 단계는?

브랜드와 소매업체가 NLP를 계속 도입함에 따라 활용 사례도 진화할 것입니다. 다음으로 보이는 것은 여정 예측, 음성 기반 확장, 검색을 위한 면팅(faceting) 등으로 NLP 적용을 확대하는 것입니다. 딥러닝과 결합된 NLP가 이커머스 쇼핑의 미래입니다.

답변 제공: 라즈 바다리나스(Raj Badarinath), VP Ecosystems, RichRelevance