AI 에이전트와 함께하는 QA 업무 가이드, 맡길 일과 판단할 일

생성형 AI 서비스가 업무 도구로 자리 잡으면서 소프트웨어 품질관리(QA) 업무의 방식도 바뀌고 있다. 기획서에서 테스트 조건을 뽑고, 메모를 결함 보고서로 다듬고, 쌓인 고객 문의를 분류하는 시간이 크게 줄었다. 그러나 도구가 빨라진 만큼, 그 결과가 맞는지 판단하는 능력의 중요성도 커졌다.

이 리포트는 박건희 소장의 『이제 QA, AI Agent랑 같이 합시다』 3부의 내용을 바탕으로, 호텔 IT 조직이 AI 에이전트를 QA 업무에 활용할 때 참고할 수 있는 실무 지침을 정리한다. 책은 특정 제품에 묶이지 않도록 대부분의 AI 서비스가 공통으로 제공하는 기능을 기준으로 설명하며, 이 리포트도 같은 원칙을 따른다.

1. AI 에이전트를 어떻게 이해할 것인가

책은 AI 에이전트를 '옆자리 선배'에 비유한다. 아는 것이 많고, 지치지 않고, 언제든 물어볼 수 있다. 하지만 우리 회사 사정은 잘 모르고, 가끔 자신 있게 틀린 말을 한다. 이 두 면을 모두 알고 함께 일해야 한다는 것이 출발점이다.

AI 에이전트가 잘하는 일

• 긴 문서 읽고 정리하기: 수십 쪽의 기획서에서 테스트 조건 뽑기, 회의록 요약
• 빠진 것 찾기: 요구사항의 모호한 표현, 테스트 케이스에서 빠진 경곗값 지적
• 다양한 아이디어 내기: 오류 추정 목록, 탐색적 테스트 아이디어, 테스트 데이터 변형
• 표와 양식으로 정리하기: 테스트 케이스 표, 결정 테이블, 결함 보고서 양식
• 문장 다듬기: 메모 수준의 결함 내용을 표준 보고서로 정리
• 낯선 것 설명하기: 오류 메시지, 로그, 처음 보는 기술 용어

조심해야 할 일

• 시스템을 실제로 실행하지 않는다: '테스트 통과'를 판정해 주지 못한다. 실행과 판정은 사람이 한다.
• 회사 내부 규칙을 모른다: 알려 주지 않으면 일반적인 규칙으로 추측해 채운다.
• 그럴듯한 오답(환각, Hallucination)을 낸다: 존재하지 않는 기능이나 규칙을 사실처럼 말할 수 있다.
• 계산과 개수 세기에서 실수한다: 금액 계산이나 조합의 개수가 틀릴 수 있다.
• 답이 매번 조금씩 다르다: 같은 질문에도 결과가 달라져 재현성이 낮다.

2. 좋은 프롬프트의 네 요소

책은 같은 부탁도 묻는 방식에 따라 결과가 크게 달라진다는 것을 두 개의 프롬프트로 비교한다. "예약 기능 테스트 케이스 만들어 줘"라고 요청하면 AI 에이전트는 일반적인 예약 시스템을 상상해 그럴듯한 목록을 만든다. 반면 다음 네 요소를 갖춰 요청하면 우리 규칙에 맞는, 검증 가능한 결과를 얻을 수 있다.

• 역할: 어떤 관점으로 답할지. 예) 호텔 예약 시스템을 오래 테스트한 QA 엔지니어
• 맥락: AI가 모르는 우리 상황. 예) 객실 타입별 최대 인원(스탠다드 2명, 디럭스 3명, 스위트 4명), 숙박 가능 일수(1~14박), 지금 테스트하는 화면
• 작업: 구체적으로 무엇을 할지. 예) 투숙 인원과 숙박일 입력에 대해 동등 분할과 2값 경곗값 분석으로 테스트 케이스를 만들되, 무효 값은 한 테스트에 하나만
• 형식: 결과를 어떤 모양으로 받을지. 예) 'TC 번호 / 기법 / 입력값 / 기대 결과' 표, 마지막에 파티션과 경곗값 목록

책은 이 가운데 가장 중요한 것이 맥락이라고 강조한다. 결과가 이상하다면 먼저 맥락을 충분히 줬는지 돌아봐야 한다. 결과의 차이는 AI 에이전트의 실력이 아니라 질문의 품질에서 나온다.

결과를 더 좋게 만드는 요령도 함께 제시된다. 원하는 결과물의 예시를 보여 줄 것, 작업을 단계로 나눌 것, 정보가 부족하면 추측하지 말고 '확인 필요' 목록으로 남기게 할 것, 작업 전에 필요한 정보를 먼저 묻게 할 것, 한 번에 완벽한 답을 기대하기보다 대화를 이어 가며 고칠 것이다. 특히 "정보가 부족하면 추측하지 말라"는 한 문장은 환각을 크게 줄이는 장치로, 책의 3부 모든 실습에 쓰인다.

3. 대화로 다듬는 과정: 세 번의 요청

책은 디럭스룸 투숙 인원 입력에 대한 테스트 케이스를 세 번의 대화로 다듬는 예시를 보여 준다.

1. 첫 번째 요청에서 맥락 없이 테스트 케이스를 요청하자, AI 에이전트는 4명 입력을 '예약 가능'으로 판단했다. 디럭스룸의 최대 인원이 3명이라는 규칙을 몰랐기 때문이다. 경곗값인 0명과 3명도 빠져 있었다.
2. 두 번째 요청에서 최대 3명이라는 규칙과 기법을 알려 주자, 파티션(0 이하 무효, 1~3 유효, 4 이상 무효)과 경곗값(0, 1, 3, 4)이 올바르게 반영되었다. 다만 오류 메시지 문구가 기획서와 다를 수 있었다.
3. 세 번째 요청에서 오류 메시지를 기획서 문구로 통일하고 표 형식을 지정해 결과를 완성했다.

결과가 좋아진 이유는 매번 사람이 무엇이 틀렸는지 알아보고 정확히 지시했기 때문이다. 책은 이를 두고 AI 에이전트를 잘 쓰는 능력은 결국 결과를 검증하는 능력이라고 정리한다.

4. 단계별 역할 분담

책의 12장 종합 실습은 예약 변경·취소 기능의 QA 프로젝트 전 과정에서 AI 에이전트와 사람의 역할을 다음과 같이 나눈다.

• 요구사항 분석: AI는 모호함과 누락 후보를 찾는다. 사람은 현장 관점의 질문을 더하고, 질문 목록을 확정해 기획자와 소통한다.
• 계획: AI는 계획서 문장을 정리한다. 사람은 범위, 리스크 우선순위, 완료 조건을 결정한다.
• 설계: AI는 테스트 케이스 표와 파일을 작성하고 추가 아이디어를 낸다. 사람은 기법을 선택하고 경곗값을 설계하며 금액을 검산한다.
• 실행·결함: AI는 보고서 초안을 쓰고 로그를 해석하며 회귀 테스트 후보를 낸다. 사람은 실행과 판정, 재현 확인, 심각도 결정을 맡는다.
• 완료: AI는 지표를 요약하고 보고서 초안을 만든다. 사람은 출시를 판단하고 남은 리스크를 평가하며 개선을 제안한다.

이 분담에는 일관된 원칙이 있다. AI 에이전트는 작성과 정리를 맡고, 사람은 선택과 판단, 책임을 맡는다. 무엇을 테스트할지, 결과가 맞는지, 출시해도 되는지는 끝까지 사람이 결정한다.

5. 검증 습관과 데이터 보호

AI 에이전트가 만든 모든 결과물은 초안이다. 책은 원문과 대조하기, 숫자는 직접 계산하기, 테스트 기법으로 빠진 것 찾기, 근거 묻기, 다르게 다시 묻기, 최종 판단은 사람이 하기를 검증 습관으로 제시한다.

데이터 보호도 같은 무게로 다뤄진다. 회사의 AI 사용 정책을 먼저 확인하고, 고객 개인정보와 민감한 식별 정보, 인증 정보, 회사 기밀은 넣지 않거나 가려야 한다. 가명 처리는 AI에게 맡기지 말고 회사 안에서 먼저 해야 한다. 원본을 넣는 순간 이미 정보가 전달되기 때문이다. 고객 정보를 대량으로 다루는 호텔 산업에서는 특히 중요한 원칙이다.

6. 호텔 IT 조직을 위한 도입 지침

이상의 내용을 바탕으로, 호텔 IT 조직이 AI 에이전트를 QA 업무에 도입할 때 고려할 지침을 다음과 같이 정리한다. 이 부분은 책의 내용을 조직 차원으로 확장한 연구소의 정리다.

1. AI 사용 정책을 먼저 세운다. 허용 서비스와 계정, 넣을 수 있는 정보의 범위, 가명 처리 절차를 문서로 정한다.
2. 공통 맥락을 자산으로 관리한다. 객실 타입별 최대 인원, 숙박 규칙, 할인과 위약금 규칙, 테스트 케이스 양식 같은 맥락을 정리해 팀이 함께 쓰는 프롬프트와 참고 자료로 관리한다. 책은 많은 AI 서비스가 제공하는 프로젝트 기능을 활용하는 방법을 소개한다.
3. 검증 단계를 절차에 넣는다. AI가 만든 테스트 케이스는 담당자가 기법으로 직접 뽑은 값과 대조한 뒤에 등록하도록 한다. 책의 현장 사례에서 이 대조는 10분이면 충분했고, 리뷰에서의 지적을 크게 줄였다.
4. 판단과 책임의 주체를 명확히 한다. 결함 여부, 심각도, 출시 판단은 사람이 내리고 기록한다.

책은 AI가 초안을 더 잘 쓸수록 그 초안을 판단할 줄 아는 사람의 가치는 오히려 커진다고 본다. AI 에이전트 도입의 성패는 도구의 성능보다, 그 결과를 검증하는 사람과 절차를 조직이 얼마나 갖추고 있는가에 달려 있다.