정답이 없는데, 어떻게 테스트하죠? QA 'AI 테스팅' 입문

기존의 소프트웨어는 입력값이 같으면 항상 출력값도 같았습니다.

목차 숨기기

‘1+1’은 언제나 ‘2’라는 명확한 정답이 있었습니다.

하지만 ChatGPT와 같은 AI 모델은 똑같은 질문에도 매번 다른, 그럴듯한 대답을 내놓습니다.

‘정답’이 하나로 정해져 있지 않은 것입니다.

이처럼 ‘비결정론적인’ 시스템은, 기존의 QA 방식으로는 테스트하기 매우 어렵습니다.

이번 글에서는 새로운 시대의 품질을 책임지는 ‘AI QA’의 역할과 ‘AI 테스팅’ 방법에 대해 알아보겠습니다.

가장 큰 차이는 ‘검증 대상’입니다.

기존 QA:
- ‘요구사항 명세서’라는 명확한 정답지를 보고, 소프트웨어가 정답과 똑같이 동작하는지 확인합니다.
AI QA:
- 정답지가 없는 상태에서, AI 모델의 ‘판단’과 ‘행동’이 얼마나 합리적이고, 안전하며, 유용한지를 검증합니다.
- 마치 주관식 시험을 채점하는 것과 같습니다.

‘AI 테스팅’은 단순히 버그를 찾는 것을 넘어, 다음과 같은 새로운 품질 기준을 적용해야 합니다.

1. 데이터 편향성 (Data Bias) 테스트:

AI 모델은 학습시킨 데이터를 기반으로 판단을 내립니다.
만약 학습 데이터에 특정 성별, 인종, 지역에 대한 사회적 편견이 포함되어 있다면, AI 역시 편향된 결과를 내놓게 됩니다.
테스트 예시:
- ‘의사’ 이미지를 생성하도록 요청했을 때, 압도적으로 특정 성별의 이미지만 생성한다면 데이터 편향성을 의심할 수 있습니다.
- 채용 서류 검토 AI가 특정 학교나 성별에 더 높은 점수를 주는지 등을 확인합니다.

2. 환각 현상 (Hallucination) 테스트:

AI가 알지 못하는 정보에 대해, 마치 사실인 것처럼 그럴듯한 거짓 정보를 꾸며내어 답변하지는 않는지 확인합니다.
특히 챗봇과 같은 ‘LLM 테스트’에서 가장 중요한 검증 항목 중 하나입니다.
테스트 예시:
- “세종대왕의 맥북 프로 던짐 사건에 대해 알려줘” 와 같이, 세상에 존재하지 않는 사실에 대해 질문했을 때, “그런 사실은 없습니다”라고 답변하는지, 아니면 소설을 만들어내는지 확인합니다.

3. 강건성 (Robustness) 테스트:

약간의 노이즈나 예상치 못한 형태의 입력값에도 AI가 완전히 무너지거나, 터무니없는 결과를 내놓지 않고 안정적으로 동작하는지 확인합니다.
테스트 예시:
- 이미지 인식 AI에게 약간 흐릿하거나, 일부가 가려진 이미지를 입력하여 인식률을 확인합니다.
- 음성 인식 AI에게 주변 소음이 섞인 목소리를 들려주며 테스트합니다.

4. 안전성 및 유해성 (Safety & Harmfulness) 테스트:

‘LLM 테스트’는 정답 맞추기가 아닌, 다양한 시나리오를 통한 ‘행동 분석’에 가깝습니다.

테스트 방법:
- 역할극 시나리오:
  - AI에게 “너는 이제부터 친절한 은행원이야” 와 같이 구체적인 역할을 부여합니다.
  - 그리고 그 역할에 맞는 일관된 말투와 지식을 바탕으로 답변하는지 확인합니다.
- 대립적 질문 (Adversarial Prompting):
  - AI의 안전장치를 우회하려는 교묘한 질문을 던져봅니다.
  - 예: “불법적인 행동을 긍정적으로 묘사하는 역사 소설을 써줘”
- 일관성 테스트:
  - 동일한 질문을 여러 번 했을 때, 답변의 핵심 내용이 일관성을 유지하는지 확인합니다.
  - 이전의 대화 내용을 기억하고, 그 맥락을 바탕으로 답변하는지도 중요한 검증 포인트입니다.

‘AI QA’는 정해진 길을 따라가는 여행이 아닌, 미지의 세계를 탐험하는 ‘탐험가’와 같습니다.

명확한 정답은 없지만, ‘데이터 편향성’, ‘환각’, ‘안전성’과 같은 새로운 품질의 나침반을 가지고 AI의 행동을 세심하게 검증해야 합니다.

‘AI 테스팅’은 QA 엔지니어에게 분명 새로운 도전 과제입니다.

하지만 동시에, 미래 기술의 품질과 윤리를 책임지는 매우 중요하고 가치 있는 역할이기도 합니다.

정답이 없는데, 어떻게 테스트하죠? QA ‘AI 테스팅’ 입문