아마존·구글, 스마트 기기로 사용자 행동 감시 특허 출원

아마존과 구글이 오디오 및 시각 신호를 활용해 사용자 관심사와 행동을 분석하는 방법을 설명하는 특허들을 출원했습니다. '웨이크워드(wakeword)'로 트리거되지 않았을 때도 스마트 가전 기기를 통해 사용자 데이터를 수집하려 합니다.

특허 내용

거대 기술 기업들은 가능한 한 많은 사용자 데이터를 수집하는 데 집중하고 있습니다. 말 그대로 여러분의 모든 움직임을 지켜보려 합니다. 몇 년 전 아마존과 구글은 가정용 기기(아마존 에코, 구글 홈 등)를 통해 사용자 활동을 모니터링하고 기록하는 특허들을 출원했습니다.

현재 음성 비서 기기는 '헤이 알렉사'나 '오케이 구글' 같은 특정 문구로 트리거된 후에만 오디오를 듣고 처리합니다. 하지만 이는 곧 바뀔 수 있습니다.

이 특허들은 스마트 가전 기기들이 사용자를 염탐하는 데 어떻게 활용될 수 있는지 광범위한 가능성을 설명합니다. 항상 켜져 있는 아마존 에코와 구글 홈 기기들이 사용자 관심사와 기분부터 의료 상태까지 모든 것을 알 수 있음을 시사합니다. 기업들은 이 데이터를 타겟 광고와 제품 추천으로 금전적 이득을 취할 수 있습니다.

특허들

아마존은 "대화 데이터로부터 키워드 결정(keyword determinations from conversational data)"이라는 특허를 출원했는데, 이는 사용자 성격 프로필을 생성할 수 있습니다. 구글의 "스마트 홈을 위한 프라이버시 인식 개인화 콘텐츠(privacy-aware personalized content for the smart home)" 특허는 오디오와 시각 신호가 사용자 기분 분석에 어떻게 활용될 수 있는지 설명합니다.

출처: The New York Times

특허에 포함된 내용

1. 주변 대화에서 행동과 감정 추출 — 기기가 '웨이크워드'로 트리거되지 않았을 때도. '목소리 스니퍼 알고리즘(voice sniffer algorithm)'이 사람 목소리(전화 통화 포함)를 듣고 "사랑", "증오", "관심" 같은 키워드를 찾아 진술을 처리해 타겟 광고에 활용.

아마존 특허에서 발췌

2. 대화 화자 식별 및 각 개인별 관심 프로필 생성. 이 프로필들은 가족 구성원 개개인 행동 이해(개인 수준 타겟 광고), 음성 트리거 기기용 음성 프로필 생성에 활용될 수 있습니다.

참조: Patent US20160260135A1 | Patent US20170323645A1

3. 스마트 기기가 관찰한 제품·서비스 추천 — 보안 카메라 등. 알고리즘이 비디오 피드에서 데이터 추출: 테이블 위 책 제목, 셔츠 위 연예인 얼굴, 방 안 축구공이나 기타 존재. 이 데이터로 기업들이 사용자 관심사와 선호 활동 파악.

페이스북 특허에서 발췌

4. 기업들이 사용자 데이터를 제3자와 공유 — 제3자가 사용자 데이터 기반으로 추론 가능. 요리, 샤워, 엔터테인먼트, 수면 일정 포함.

5. 아동 비행 추론 — 움직임 센서와 오디오 사용. 특허에 따르면 기기들이 가족 구성원 활동을 개인 수준에서 모니터링해 권한 있는 보험 계약자에게 보고.

6. 스마트 가전 기기 응답에 수집 데이터 기반 광고 삽입.

구글은 원시 소리를 사용해 의료 상태, 기분, 인구통계 데이터를 외삽하지 않는다고 밝혔습니다. 모든 기기와 서비스(구글 홈, 구글 어시스턴트)는 고객 프라이버시를 염두에 두고 개발됐습니다.

아마존은 사용자 프라이버시를 심각하게 받아들이며 신기술의 완전한 잠재력을 탐구하는 기술들을 찾고 있다고 밝혔습니다.

관련 기사: 구글, 인간과 구별 안 되는 음성 AI 개발 | Tacotron 2

게다가 기업들은 매년 수천 건 특허를 출원하지만, 모두 승인돼 최종 제품에 구현되는 건 아닙니다. 하지만 이런 종류의 기술은 프라이버시 침해 우려를 완전히 다른 차원으로 끌어올립니다.