고객의 목소리(VOC)는 다음 테스트가 어디를 봐야 하는지 알려 준다

호텔 경영에서 고객의 소리(VOC, Voice of Customer)는 서비스품질을 관리하는 기본 자료다. 불만과 문의를 모아 원인을 찾고, 반복되는 문제를 개선하는 일은 서비스 현장에서 익숙한 업무다. 그런데 같은 데이터가 소프트웨어 품질관리에서도 중요한 단서가 된다는 점은 상대적으로 덜 주목받아 왔다.

박건희 소장의 『이제 QA, AI Agent랑 같이 합시다』 11장은 VOC를 "테스트의 보물창고"로 다룬다. 호텔 시스템이라면 프런트 직원이 남긴 문의, 고객센터 접수 내역, 장애 신고가 모두 VOC다. 이 기록은 실제 사용자가 어디서 불편을 겪고 어디서 결함을 만나는지 보여 준다.

결함은 몰려 있다

ISTQB가 정리한 테스트 7원칙 가운데 하나는 결함 집중(Defect Clustering)이다. 결함의 상당수가 일부 기능에 몰리는 경향이 있다는 것이다. 책은 이를 호텔에 빗대어, 유독 민원이 자주 나오는 객실이 있는 것과 같다고 설명한다. 정산이나 할인 계산처럼 규칙이 복잡한 기능이 대표적이다.

테스트에 쓸 수 있는 시간과 인력은 늘 한정되어 있다. 모든 기능을 같은 깊이로 볼 수 없다면, 결함이 몰려 있을 가능성이 높은 곳을 더 꼼꼼히 봐야 한다. VOC는 그 "어디"를 추측이 아닌 데이터로 확인하게 해 준다.

다섯 단계 분석

책은 VOC 분석을 다음 다섯 단계로 정리한다.

1. 정리: 기간을 정해 VOC를 모으고, 개인정보를 가린다.
2. 분류: 기능별(예약, 체크인, 정산 등)과 유형별(결함, 사용법 문의, 개선 요청)로 나눈다.
3. 집계: 분류별 건수와 추이, 반복되는 표현을 센다.
4. 해석: 많이 나오는 곳, 늘어나는 곳, 심각한 것을 찾는다.
5. 반영: 테스트 우선순위, 체크리스트, 회귀 테스트 범위, 기획 개선 제안에 반영한다.

50건의 가상 VOC가 보여 준 것

책은 가상의 호텔 예약 시스템에 접수된 VOC 50건을 분석한 결과 예시를 제시한다. 기능별로 정리하면 다음과 같다.

• 변경·취소: 결함 의심 9건, 사용법 문의 4건, 개선 요청 3건. 가장 많았고 환불 금액 관련 결함 의심이 반복되었다.
• 체크인: 결함 의심 5건, 사용법 문의 6건, 개선 요청 2건. 단체 체크인 관련 문의가 집중되었다.
• 정산: 결함 의심 4건, 사용법 문의 2건, 개선 요청 1건. 건수는 적지만 금액과 관련되어 심각도가 높다.
• 예약: 결함 의심 3건, 사용법 문의 5건, 개선 요청 4건. 사용법 문의가 많아 화면 개선 검토 대상이다.
• 기타·판단 보류: 2건. 직접 확인이 필요하다.

합계는 결함 의심 22건, 사용법 문의 17건, 개선 요청 11건으로 모두 50건이다. 이 결과는 다음 테스트 주기에서 변경·취소와 정산 기능에 더 많은 시간을 배정해야 한다는 근거가 된다.

주목할 것은 '예약' 기능이다. 이곳의 문의는 대부분 결함이 아니라 사용법 문의였다. 시스템이 명세대로 동작하더라도 사용자가 쓰는 법을 몰라 묻는다면, 그것은 결함이 없어도 성공한 것은 아니라는 원칙, 즉 사용자가 실제로 원하는 것을 만들었는지에 대한 신호다. 책은 이런 내용을 기획팀에 전달하는 것까지 QA의 일로 본다.

건수가 가장 많은 곳과 피해가 가장 큰 곳은 다를 수 있다. 정산 VOC는 7건에 불과하지만 금액이 걸려 있다.

AI 에이전트에 맡길 일과 사람이 할 일

수십, 수백 건의 VOC를 분류하고 집계하는 일은 AI 에이전트가 빠르게 처리할 수 있는 작업이다. 책은 VOC를 기능과 유형으로 분류하고, 기능별 건수를 집계하고, 반복되는 결함 패턴을 찾아 테스트 아이디어를 제안하도록 요청하는 방법을 소개한다. 분류가 애매한 건은 '판단 보류'로 따로 표시하게 한다.

동시에 책은 세 가지 검증을 요구한다. 집계 합계가 원래 건수와 일치하는지 확인할 것, 무작위로 몇 건을 골라 분류가 맞는지 직접 볼 것, 그리고 판단 보류 건은 사람이 직접 읽을 것. 개수 세기는 AI가 실수하기 쉬운 영역이고, 판단 보류 건에 의외의 결함이 숨어 있는 경우가 있기 때문이다. 또한 VOC 원문에는 고객 이름과 연락처가 섞여 있기 마련이므로, AI에 넣기 전에 회사 안에서 개인정보를 먼저 가려야 한다.

서비스품질과 시스템 품질을 잇는 데이터

VOC 분석은 서비스품질 연구와 소프트웨어 품질관리가 만나는 지점이다. 서비스품질 관점에서 VOC는 고객이 지각한 품질의 기록이고, 소프트웨어 품질 관점에서는 결함이 실제 사용 환경에서 드러난 흔적이다. 호텔 조직이 고객 불만 데이터를 운영 부서와 IT 부서가 함께 읽는 구조를 갖춘다면, 직원 교육으로 풀 문제와 시스템 개선으로 풀 문제를 더 정확하게 구분할 수 있을 것이다.