보는 imma에서 대화하는 안내원으로…Aww ‘히토’(HITO), 0.85초 응답·15개 언어 시연

사진과 영상 속에서 ‘보는’ 버추얼 휴먼으로 알려진 imma가 방문객의 말을 듣고 답하는 안내원으로 역할을 넓힌다. Aww는 대화형 AI 버추얼 휴먼 서비스 ‘HITO’를 2026년 8월 5일과 6일 도쿄국제포럼에서 열린 AI·인공지능 EXPO NEO에 전시한다고 7월 22일 발표했다. HITO는 음성 인식, 대규모 언어 모델, 검색 증강 생성, 음성 합성을 연결해 화면 속 인물이 질문에 말로 응답하는 구조다. 발표가 제시한 최단 응답 시간은 약 0.85초, 일반적인 응답은 평균 1~2초이며 일본어·영어·중국어를 기본으로 최대 15개 언어까지 확장할 수 있다.

서비스의 목표는 일반적인 무인 안내판에 얼굴만 붙이는 것이 아니다. 관리자가 시설 정보, 상품 지식, 자주 묻는 질문, 진행 중인 행사 자료를 등록하면 HITO가 이를 검색해 답변에 반영한다. 외형과 표정, 목소리, 말투, 행동을 브랜드에 맞춰 설계할 수 있어 같은 기반 기술이라도 호텔 안내원, 상업시설 캐릭터, 교통 정보 도우미가 서로 다른 인상을 줄 수 있다. Aww는 이를 ‘브랜드의 얼굴’로 설명하지만, 친숙한 외모가 답변의 정확성이나 서비스 책임을 자동으로 보장하는 것은 아니다.

대화 과정은 사용자의 말을 텍스트로 바꾸는 음성 인식에서 시작한다. 시스템은 질문의 언어와 의도를 파악하고, 관리자가 연결한 자료에서 관련 내용을 찾은 뒤 언어 모델이 답변 문장을 만든다. 마지막으로 음성 합성이 목소리를 출력하고 CG 인물이 입 모양과 표정을 맞춘다. 0.85초라는 수치는 이 여러 단계가 빠르게 연결될 수 있다는 성능 지표지만 모든 장소와 질문에서 동일한 지연을 약속하는 보증값은 아니다. 네트워크 상태, 자료 크기, 질문의 길이, 사용하는 모델과 기기에 따라 실제 응답 시간은 달라질 수 있다.

다국어 기능은 방문객이 먼저 언어를 메뉴에서 고르지 않아도 말한 언어를 판별해 같은 언어로 답하는 흐름을 지향한다. 기본 세 언어 밖의 최대 15개 언어는 도입 계약과 설정 범위에 따라 제공될 수 있으므로 모든 설치처에서 곧바로 쓸 수 있다고 보면 안 된다. 고유명사 발음, 방언과 소음, 여러 사람이 동시에 말하는 상황은 음성 인식 정확도를 떨어뜨릴 수 있다. 안내 대상이 약 복용, 교통 안전, 긴급 대피처럼 오답의 비용이 큰 정보라면 화면에 공식 문서와 직원 연결 경로를 함께 보여 주는 보완이 필요하다.

HITO는 대화 로그를 전용 관리 화면에 축적해 방문객이 무엇을 자주 묻고 어떤 안내에서 막히는지 볼 수 있게 한다. 운영자는 이 데이터를 FAQ 보완, 동선 개선, 상품 설명 수정에 활용할 수 있다. 동시에 목소리와 질문 내용에는 이름, 예약 번호, 건강 상태 같은 개인정보가 섞일 수 있다. 발표에는 보관 기간, 익명화 방식, 이용자가 기록을 거부하거나 삭제를 요청하는 절차가 구체적으로 적혀 있지 않다. 실제 설치처는 마이크가 작동 중이라는 사실과 수집 목적, 제3자 제공 여부를 눈에 띄게 고지해야 한다.

Aww는 행사장에서 imma와 다른 데모 버추얼 휴먼 두 명을 이용해 자유 대화를 시연했다. 방문객은 미리 정해진 버튼을 누르는 대신 질문을 말하고, 시스템은 시설 정보와 FAQ를 반영해 답한다. 이 시연에서 확인해야 할 것은 준비된 질문에 대한 화려한 반응만이 아니다. 모르는 질문을 받았을 때 추측하지 않고 한계를 밝히는지, 같은 질문을 다른 말로 했을 때 답이 일관적인지, 사람 직원에게 연결해야 할 상황을 제대로 구분하는지가 실제 운영 품질을 가른다.

이미 실제 매장 적용 사례도 있다. 2026년 7월 KDDI가 운영하는 ‘POP Culture Style IKEBUKURO’에서는 Aww의 버추얼 휴먼 Zinn이 HITO를 통해 방문객에게 매장과 행사, 이동 경로를 안내했다. 전시용 데모와 달리 매장은 상품 변경, 품절, 행사 시간 수정이 자주 일어나므로 등록 자료의 최신성이 중요하다. 시스템이 오래된 정보를 자연스러운 목소리로 말하면 이용자는 틀린 답을 더 쉽게 믿을 수 있다. 누가 언제 지식을 갱신하고 정정 공지를 반영하는지 운영 책임을 명확히 해야 한다.

얼굴과 인격을 가진 인터페이스는 사용자의 질문 부담을 낮출 수 있다. 메뉴 구조를 모르는 방문객도 사람에게 묻듯 원하는 것을 말할 수 있고, 표정과 시선은 시스템이 듣고 있다는 신호를 준다. 반면 사람처럼 보이는 디자인은 이용자가 실제 이해력과 감정을 과대평가하게 만드는 위험도 있다. HITO가 공감하는 말투를 쓰더라도 감정을 느끼거나 상황 전체를 이해하는 직원은 아니다. 화면 어딘가에 AI라는 사실, 답변 범위, 긴급 상황에서 연락할 사람을 분명히 표시해야 이용자가 기대를 조절할 수 있다.

브랜드에 맞춘 목소리와 외형을 만드는 과정에는 권리 관리도 따른다. imma처럼 이미 활동 중인 버추얼 휴먼을 안내 역할에 사용할 때는 캐릭터의 기존 이미지와 광고·접객 맥락이 충돌하지 않는지 검토해야 한다. 실제 사람과 닮은 모델이나 특정 성우의 음성을 사용할 경우 초상·음성 이용 범위와 기간, 2차 학습 여부를 계약으로 정해야 한다. 이용자가 캐릭터의 답변을 녹화해 다른 문맥으로 재배포하거나 조작할 가능성에 대해서도 워터마크, 이용 안내와 신고 절차가 필요하다.

기업 입장에서 HITO는 반복 질문을 처리하고 여러 언어를 제공하는 수단이 될 수 있지만 ‘채용하지 않고 팀을 늘린다’는 홍보 문구를 인력 완전 대체로 읽어서는 안 된다. 복잡한 민원, 접근성 지원, 위험 상황, 결제 취소처럼 판단과 권한이 필요한 업무는 사람이 맡아야 한다. AI 안내원이 실패했을 때 즉시 호출할 직원을 줄이면 이용자는 화면 앞에 고립된다. 도입 효과는 처리한 질문 수뿐 아니라 직원 연결 성공률, 오답 정정 시간, 이용자 만족과 개인정보 사고 여부를 함께 측정해야 한다.

발표가 밝힌 적용 대상은 교통기관, 호텔, 상업시설, 의료기관 등이다. 분야가 넓을수록 같은 기술을 그대로 복제하기보다 위험도에 맞는 답변 제한이 필요하다. 쇼핑몰 층 안내는 일부 오류를 현장에서 바로 고칠 수 있지만 의료기관에서 진료 판단처럼 받아들여질 답을 하면 피해가 커진다. RAG에 신뢰할 자료를 넣더라도 언어 모델이 문장을 조합하는 과정에서 사실을 왜곡할 수 있으므로, 고위험 질문에는 생성 답변을 막고 승인된 문구만 읽거나 직원에게 넘기는 규칙이 적절하다.

현재 확정된 것은 HITO가 ASR·LLM·RAG·TTS를 연결하고, 기본 세 언어와 최대 15개 언어 확장, 대화 로그 관리, 버추얼 휴먼의 외형·목소리 맞춤을 제공한다는 발표다. 모든 고객 환경에서 0.85초를 보장한다는 서비스 수준, 가격, 설치 장비, 데이터 보관 정책은 공개되지 않았다. 도입을 검토하는 곳은 데모의 자연스러움만 볼 것이 아니라 실제 소음 환경에서의 인식률, 최신 자료 갱신 절차, 개인정보 고지, 사람 연결과 장애 대응을 시험해야 한다. 캐릭터의 친밀감은 유용한 입구이고, 신뢰는 투명한 운영과 검증에서 만들어진다.

운영자는 답변 품질을 캐릭터의 말투와 별개로 측정할 필요가 있다. 표정과 목소리가 자연스러워도 영업시간이나 재고, 환불 규정을 틀리게 안내하면 현장 서비스로는 실패다. 지식 자료가 바뀌었을 때 누가 승인하고 언제 반영하는지, 답을 모를 때 추측하지 않고 담당자에게 넘기는지, 로그에서 개인 식별 정보를 얼마나 오래 보관하는지가 기본 점검 항목이다. 여러 언어를 지원한다는 설명도 모든 언어에서 같은 인식률과 지연을 뜻하지 않는다. HITO의 강점은 화면 속 인물을 대화 창구로 연결하는 데 있고, 실제 도입 가치는 정확도와 안전 절차를 매장 업무에 맞게 설계했을 때 비로소 판단할 수 있다.