랭체인으로 LLM에 기억을 만들어 주는 방법

IT 지식이 중요해진 요즘, 여러분은 어떻게 공부하시나요? 다양한 IT 강의 영상 중에서도, 이번에는 '랭체인으로 LLM 기반 애플리케이션 설계하기' 강의를 준비했습니다. 강의는 구글 클라우드의 에덴 마르코(Eden Marco)가 진행하며, 랭체인의 기본 개념과 LLM 애플리케이션 개발 도구를 간추려 소개합니다. 전체 영상은 유데미에서 확인하세요.

안녕하세요, 에덴 마르코입니다. 이번 강의에서는 랭체인에서의 메모리에 대해 다룹니다. 상호참조해결(Coreference Resolution), 랭체인 메모리 전략, LangGraph를 통한 메시지 저장 방안을 설명합니다.

상호참조해결(Coreference Resolution)

LLM은 대화 중의 정보를 저장하지 않으며, 이로 인해 사용자와의 상호 작용이 무상태(stateless)로 진행됩니다. 예를 들어, "러브를 만든 이는 누구인가?"라는 질문에 대답할 수 있지만, 이어서 관련 비디오에 대한 질문에는 답할 수 없습니다. 이러한 상황에서 상호참조해결이 필요합니다.

프롬프트에서 상태와 채팅 히스토리를 받기

이전 대화에 기반해 답변을 제공하는 방법을 설명합니다. 사용자가 좋아하는 음료에 대하여 질문하면, bot은 올바른 답변을 제공하게 됩니다. 여기서 '그거'는 콜드브루 커피를 지칭합니다.

랭체인으로 챗봇에 메모리 설정하기

메모리 전략은 다양하며, 메시지를 LLM 코드에 채우는 데 초점을 맞춥니다. 모든 메모리를 LLM에 전송할 필요는 없으며, 불필요한 정보는 손실될 수 있습니다.

메모리를 다루는 세 가지 전략

1. 모든 내용을 LLM에 전달하는 방법
2. 오래된 메시지 삭제
3. 메시지를 요약하여 저장

메시지 저장 방식

메시지를 저장하는 새로운 방법은 LangGraph 사용으로, 체크포인터를 통해 영구 저장을 돕습니다.

과거 메시지 전달

사용자의 모든 과거 메시지를 LLM에 전달하는 방법은 메시지를 적절히 처리하는 것입니다.

LangGraph

LangGraph는 메시지를 영구적으로 저장하도록 도와줍니다. 체크포인트 객체를 생성하여 DB에 메시지를 영속시키는 것이 중요합니다.

메시지 처리 방법: 트리머와 요약

트리머를 사용하여 오래된 메시지를 제거하고, 요약을 통해 저장 공간을 절약할 수 있습니다.

마치며

메모리 저장의 중요성을 강조하며, LangGraph 체크포인터를 통해 메시지 저장을 자동화하는 이유를 설명합니다.

원본 영상 바로가기 https://bit.ly/udemy_langchain3