Ollama에 없는 모델 내가 만들어 사용하기 (2)

K8sGPT는 쿠버네티스와 대규모언어모델(LLM)을 결합한 오픈소스 프로젝트로, 클러스터 정보 스캐닝을 통해 이슈를 발견하고 해결 방안을 제공합니다.

이 프로젝트는 이제 AI 제공자를 사용하여 로컬 LLM 환경을 구성할 수 있는 기능을 제공하며, 데이터 노출 우려를 해소합니다.

*참고 글: 로컬 LLM에서 K8sGPT로 쿠버네티스 AIOps 실행하기 (1부, 2부)

구성을 위해 AI 모델 실행 및 API 요청 주소가 필요하며, Ollama가 권장됩니다. 이 기고에서는 Ollama의 create 명령을 활용하는 방법을 설명합니다.

1. 공개 모델 내려받기
2. 파이토치 모델을 GGUF 포맷으로 변환
3. GGUF 모델을 Q5_K_M으로 양자화
4. Ollama의 create 명령으로 모델 추가
5. K8sGPT 분석에 모델 사용

이번 2부에서는 Ollama create 명령을 통해 모델 추가하는 방법을 다룹니다.

4단계: GGUF 파일을 Ollama에 불러 사용하기

Ollama에서는 GGUF를 쉽게 불러 사용할 수 있으며, 모델 파라미터 변경 및 프롬프트 엔지니어링 옵션도 제공합니다.

위 과정을 위해 작업할 디렉터리를 만들고 양자화된 GGUF 파일을 옮깁니다.

모델파일(modelfile)

Ollama에서 모델 설정을 추가하는 모델파일을 생성할 수 있습니다.

핵심 구문은 다음과 같습니다:

SYSTEM을 통해 모델의 역할을 지정할 수 있습니다.

이제 ollama create 명령으로 GGUF 모델을 추가합니다.

5단계: Ollama에 추가된 모델을 K8sGPT 분석에 사용하기

K8sGPT에서 추가 모델을 활용해 질문을 시작해보세요. 로컬 AI 모델을 활용하기 위해 간단한 스크립트를 작성할 수 있습니다.

모델 작동을 확인했습니다.

마치며

K8sGPT에서 Ollama에 존재하지 않는 모델을 추가해 사용하는 방법을 살펴보았습니다.

결과적으로 대부분의 모델은 특정 목적에 맞춘 sLM을 활용하기 위해 직접 적용해야 할 필요가 있습니다.

이번 기고는 KubeCon China 2024에서도 발표되었습니다. 더 궁금하다면