‘진짜 서비스’에 쓸 AI 모델 만들기: 테스트와 모델 요구 사항

요즘 IT 지식의 중요성이 커지면서, 다양한 IT 강의 영상이 주목받고 있습니다. 이에 요즘IT는 'IT 강의 시리즈'를 준비해 엄선한 교육 영상을 텍스트로 제공합니다.

이번 강의는 AI 스타트업 업스테이지의 CTO 이활석 님의 ‘서비스 향 AI 모델 개발하기’입니다. 실제 AI 모델 개발 과정 및 올바른 조직 구성 방법에 대해 배우세요. 전체 영상은 네이버 부스트코스에서 확인 가능합니다.

서비스향 AI 모델 개발하기

① ‘진짜 서비스’에 쓸 AI 모델 만들기: 서비스 요구 사항과 학습 데이터셋

② ‘진짜 서비스’에 쓸 AI 모델 만들기: 테스트와 모델 요구 사항

지난 글에서는 AI 개발의 차별성을 다뤘습니다. 특히, 서비스용 AI의 학습 데이터셋 준비 방법을 설명했습니다.

오늘은 AI 모델 성능 테스트와 요구 사항 도출에 대해 이야기하겠습니다.

AI 모델은 언제 어떻게 평가할까

테스트 데이터셋은 학습 데이터셋의 일부로 구비되며, 테스트 방법은 서비스 요구 사항에서 도출해야 합니다.

1 대 1 대전 게임의 AI 모델 만들기

1 대 1 대전 게임의 AI 모델을 만들어 보겠습니다. 입력은 게임 화면 이미지이며, 출력은 캐릭터의 스킬 선택입니다. AI 모델 학습에는 프로게이머의 게임 로그가 필요합니다.

분류 정확도 99%의 모델은 승리할까?

99% 정확도의 AI 모델이 실제 대전에서 아무 스킬도 사용하지 않으면, 승률은 0%입니다. 이는 데이터셋에서 '노 액션'이 많았기 때문입니다.

오프라인 테스트와 온라인 테스트

모델 성능 평가는 오프라인과 온라인 테스트에서 결과가 다를 수 있습니다. 이러한 차이를 이해하는 것이 중요합니다.

오프라인 테스트: AI 모델은 어떻게 선택할까?

오프라인 테스트 결과는 완벽하지 않으며, 여러 모델 중 후보군을 모은 후 정성 평가를 통해 하나를 선택해야 합니다.

온라인 테스트: VoC로 개선 포인트 파악하기

고객의 의견을 통해 AI 모델의 개선 포인트를 파악하고, 주기적으로 토론하여 업데이트해야 합니다.

서비스 요구 사항에서 모델 요구 사항 도출하기

서비스 요구 사항에서 모델 요구 사항을 도출하는 작업은 필수입니다.

1. 처리 시간

모델의 처리 시간은 입력에서 출력까지 걸리는 시간으로, 서비스 품질에 큰 영향을 미칩니다.

2. 정확도

목표 정확도는 서비스에서 요구하는 최소한의 정확도를 의미하며, 개발 단계에 따라 달라질 수 있습니다.

3. QPS(Queries Per Second)

QPS는 초당 처리 가능한 요청 수입니다. 이를 높이기 위해서는 장비를 늘리거나 처리 시간을 줄이는 방법이 있습니다.

4. 서빙 방식

서빙 방식은 AI 모델이 어떤 하드웨어에서 동작하는지를 명확히 해야 합니다. 고객 요구사항이 반영되어야 합니다.

마치며

AI 모델 개발에는 많은 과정이 필요합니다. 팀과 함께 역할을 분담하여 개발에 적용할 수 있습니다.

서비스향 AI 모델 개발하기

① ‘진짜 서비스’에 쓸 AI 모델 만들기: 서비스 요구 사항과 학습 데이터셋

② ‘진짜 서비스’에 쓸 AI 모델 만들기: 테스트와 모델 요구 사항

원본 강의 보러 가기 https://www.boostcourse.org/ai101