수백 개의 테스트 케이스, 수십 개의 버그 리포트, 그리고 각 항목의 진행 상황… 혹시 이 모든 것을 거대한 엑셀(Excel) 시트 하나에 정리하고 계신가요?
엑셀은 훌륭한 도구지만, 여러 사람이 함께 일하는 소프트웨어 개발 프로젝트에서 품질 관련 정보를 관리하기에는 여러 한계가 있습니다. 동시 수정이 어렵고, 변경 이력을 추적하기 힘들며, 각 항목을 유기적으로 연결하기도 까다롭습니다.
그래서 전문적인 QA 조직은 체계적인 품질 관리를 위해 ‘버그 추적 시스템’과 ‘테스트 케이스 관리 도구’를 사용합니다.
Q. ‘버그 추적 시스템’이란 무엇이고, 왜 필요한가요?
발견된 결함(버그)을 기록, 추적, 관리하여, 어떤 버그도 누락되거나 잊히지 않고 처리되도록 돕는 시스템입니다.
- 대표 도구: 단연 Jira(지라) 입니다. 오늘날 거의 모든 IT 기업에서 프로젝트 관리와 이슈 및 버그 추적을 위해 사용하는 표준 도구와 같습니다.
- 왜 Jira를 사용해야 하나요?
- 모든 버그에 고유한 이슈 번호를 부여하여 추적을 쉽게 만듭니다.
- 버그의 상태(‘신규’, ‘할당’, ‘수정 중’, ‘종료’ 등)를 한눈에 파악할 수 있습니다.
- 담당자, 우선순위, 설명, 첨부 파일 등 모든 정보를 중앙에서 관리하고 팀원들과 공유합니다.
Q. ‘테스트 케이스 관리’는 어떻게 하나요? Jira만으로 충분한가요?
Jira는 본래 이슈 추적 도구이므로, 테스트 케이스를 전문적으로 관리하는 기능은 다소 부족합니다. 그래서 많은 팀이 Jira와 연동되는 별도의 ‘테스트 케이스 관리’ 도구를 함께 사용합니다.
- 왜 별도 도구가 필요한가요?
- 테스트 케이스의 변경 이력(버전 관리)을 체계적으로 남길 수 있습니다.
- 여러 테스트 케이스를 묶어 ‘테스트 사이클’ 또는 ‘테스트 실행(Test Run)’을 만들고, 각 케이스의 성공/실패 결과를 명확하게 기록할 수 있습니다.
- 기능별 테스트 커버리지나 성공률 등 유용한 통계 리포트를 자동으로 생성해 줍니다.
- 대표적인 QA 도구:
- TestRail: 많은 기업에서 사용하는 전문 테스트 케이스 관리 도구입니다. Jira와 연동하여 사용합니다.
- Zephyr / Xray: Jira에 플러그인(애드온) 형태로 설치하는 도구입니다. Jira를 벗어나지 않고 그 안에서 직접 테스트 케이스를 작성하고 관리하게 해주어 Jira와의 연동성이 매우 뛰어납니다.
Q. 실제 업무에서는 이 도구들이 어떻게 사용되나요?
이상적인 업무 흐름은 다음과 같습니다.
- 계획: Jira에 이번 주에 개발할 기능(예: ‘사용자 프로필 사진 변경 기능’) 이슈가 생성됩니다.
- 설계: QA는 Zephyr나 TestRail을 사용해 해당 기능에 필요한 테스트 케이스들(사진 업로드, 삭제, 변경 등)을 작성합니다. 그리고 이 테스트 케이스들을 Jira의 기능 이슈에 ‘연결(link)’해 둡니다.
- 실행: QA가 테스트를 실행하다가, ’10MB 이상의 사진을 업로드하면 앱이 멈추는’ 버그를 발견합니다.
- 보고: QA는 Jira에 ‘버그’ 타입의 이슈를 새로 생성합니다. 이때, 어떤 테스트 케이스를 수행하다가 버그가 발생했는지 명확히 하기 위해, 이 버그 이슈를 실행했던 테스트 케이스와 ‘연결’합니다.
- 추적: 개발자는 자신에게 할당된 Jira 버그를 보고 원인을 파악하고 수정합니다. PM은 Jira 대시보드를 통해 전체 테스트 진행 상황과 버그 현황을 한눈에 파악합니다.
결론: 도구가 전문가를 만든다
엑셀을 사용하는 것이 잘못된 것은 아닙니다. 하지만 전문적인 품질 관리를 위해서는 그에 맞는 전문 도구를 사용하는 것이 훨씬 효율적이고 안전합니다.
Jira와 같은 버그 추적, 그리고 Zephyr, TestRail과 같은 테스트 케이스 관리 도구는 팀 전체에 품질 현황을 투명하게 공유하고, 모든 테스트 활동을 체계적으로 추적하며, 누락 없는 품질 관리를 가능하게 합니다. 이러한 QA 도구에 익숙해지는 것은 현대 QA 엔지니어의 핵심 역량 중 하나입니다.