테스트는 질문이다

토요일 오후의 호텔 프런트에서 같은 객실, 같은 밤에 두 예약이 배정되는 일이 벌어졌다고 해 보자. 2박을 묵고 있던 가족과 막 체크인한 출장객이 모두 703호의 키를 들고 서 있다. 졸저 『이제 QA, AI Agent랑 같이 합시다』는 이 가상의 장면으로 시작한다.

원인을 추적해 보니 기획서에 '숙박일'이라는 단어만 있을 뿐, 고객이 어느 밤까지 객실을 쓰는지는 정의되어 있지 않았다. 개발자는 마지막 밤을 잘못 계산했고, 그 결함은 객실이 꽉 찬 성수기 주말에야 모습을 드러냈다.

책의 마지막에서 나는 이 이야기의 후일담을 적었다. 그날 이후 그 호텔 팀은 기획서를 쓸 때 테스터를 부르기 시작했다. 테스터는 회의에서 이렇게 물었다. "2박 손님의 마지막 밤은 언제인가요? 숙박일은 어떻게 세나요?" 그 질문 하나가 다음 703호를 막았다.

기법은 질문의 다른 이름이다

책을 마무리하며 돌아보니, 처음부터 끝까지 다룬 것은 결국 질문하는 방법이었다.

• 동등 분할은 "이 값들은 같은 대접을 받을까?"라는 질문이다.
• 경곗값 분석은 "딱 경계에서는?"이라는 질문이다.
• 결정 테이블은 "이 조건들이 겹치면?"이라는 질문이다.
• 상태 전이는 "지금 이 상태에서 이걸 하면?"이라는 질문이다.
• 리스크 분석은 "무엇이 가장 아플까?"라는 질문이다.
• 결함 보고서는 "어떻게 하면 누구나 이 문제를 볼 수 있을까?"라는 질문이다.

테스트 기법을 처음 배우는 사람들은 용어와 계산식에 압도되곤 한다. 그러나 기법의 본질은 공식이 아니라 질문이다. 공식은 그 질문을 빠짐없이, 반복 가능하게 던지도록 돕는 도구일 뿐이다.

현장은 질문의 재료다

호텔 현장에서 일해 본 사람이라면 이런 질문에 익숙할 것이다. 회원이 연박 할인까지 받으면 할인은 몇 퍼센트가 되는가. 체크인 시각 15시 정각에 도착한 고객은 얼리 체크인인가. 자정을 넘겨 들어온 예약의 숙박일은 어떻게 세는가. 12월 31일에서 1월 1일로 넘어가는 숙박은 정상적으로 계산되는가.

이 질문들은 모두 프런트와 예약, 정산의 현장에서 나온다. 코드를 몰라도 던질 수 있고, 오히려 현장을 아는 사람이 더 날카롭게 던질 수 있다. 전공이 없어도, 코딩을 몰라도, 일해 온 현장과 써 온 시스템과 만나 온 사람들이 모두 질문의 재료가 된다.

AI 시대의 두 번째 질문

AI 에이전트와 함께 일하는 것도 결국 질문의 기술이다. 좋은 맥락을 담아 묻는 것이 첫 번째 질문이다. 우리 호텔의 객실 타입별 최대 인원, 숙박 규칙, 할인 정책을 알려 주지 않으면 AI는 그럴듯한 추측으로 빈칸을 채운다.

그리고 두 번째 질문이 있다. 돌아온 답에 다시 "정말?"이라고 묻는 것이다. 이 테스트 케이스에 경곗값이 다 들어 있는가. 이 금액은 맞게 계산되었는가. 이 규칙은 정말 우리 기획서에 있는가.

AI가 아무리 발전해도 이 두 번째 질문은 사람의 몫으로 남을 것이라고 생각한다. AI가 초안을 더 잘 쓸수록, 그 초안에 "정말?"이라고 물을 줄 아는 사람의 가치는 오히려 커진다.

질문하는 조직

703호 사례가 말해 주는 것은 개인의 질문 능력만이 아니다. 질문이 오갈 수 있는 구조의 중요성이다. 테스터를 기획 회의에 부르는 것, 결함을 "누구 잘못인가"가 아니라 "어디서 생겨났는가"로 묻는 것, 품질을 테스터 한 사람이 아닌 팀 전체의 책임으로 두는 것. 그런 구조가 있을 때 현장의 질문은 결함이 되기 전에 답을 얻는다.

호텔이든 IT 기업이든, 좋은 서비스를 만드는 조직은 질문을 환영하는 조직이다. 테스트는 결국 그 질문을 체계적으로 던지는 일이다.