QA팀이 테스트 자동화 지표로 ‘신뢰성’ 회복한 방법

국내 IT 기업들은 세계적인 기술과 아이디어를 보유하고 있으며, 이들은 기업 블로그를 통해 정보를 공유하고 있습니다. 이번 글에서는 패션 플랫폼 29CM의 QA팀이 ‘테스트 자동화 지표’를 활용하여 신뢰성을 높인 경험을 소개합니다.

안녕하세요, 29CM QA팀의 박현준입니다. 지난 QA Korea Conference에서 강연을 통해 자동화의 신뢰성을 높이기 위한 준비 과정을 이야기하겠습니다.

29CM QA팀은 앱 테스트 자동화와 API 테스트 자동화를 운영하고 있습니다. API 테스트는 문제가 드물지만, 앱 테스트는 UI 변동으로 인해 신뢰성이 낮아지는 문제가 발생했습니다.

신뢰성 확보하기

신뢰성 문제는 큰 우선 과제로 설정되었으며, 이를 해결하기 위해 Postgresql과 Grafana를 활용하여 데이터를 시각화하고 지표를 추적하기로 했습니다.

• Platform: 발생 플랫폼 기록
• error_code: 오류 코드 기록
• error_reason: 오류 원인 기록
• insert_time: 기록 시점 기록
• error_scenario: 테스트 시나리오명 기록
• test_result: 테스트 결과 기록
• test_progress_time: 수행시간 측정 기록

이러한 지표를 통해 데이터가 쌓일 때까지 자동화를 시행했습니다. 현재는 주 1회 배포 시 자동으로 QA팀 테스트가 수행되고 있습니다.

QA팀은 2Q에 Fail률을 2% 미만으로 줄이기 위한 목표를 설정하고 Fail 매니징을 시작했습니다. 근본적인 원인을 찾기 위해 노력했으며, 예를 들어 대기 시간을 조정하거나 새로운 xPath 쿼리를 도입했습니다.

1) 목표 설정하기

1Q에는 Fail률이 8%로 치솟았으나, 목표 설정 후 2Q에 눈에 띄게 낮아졌습니다.

2) 문제 분석하기

Fail률이 증가하면, 가장 높은 빈도의 시나리오와 에러를 분석해 원인을 추적합니다. 성능 문제도 체크하며, 웹뷰와 네이티브 화면의 차이를 고려합니다.

느낀 점

Fail률을 DB화하여 지표로 삼고 성공적으로 관리할 수 있었습니다. 이 경험을 통해 QA 성과를 정량적으로 측정하는 방법에 대해 고민하게 되었습니다.

<원문>

29CM QA팀은 어떻게 테스트 자동화 지표를 활용하여 신뢰성을 확보할 수 있었을까?