LangSmith로 LangChain 체인/에이전트 관측과 평가하기

LangChain 애플리케이션을 운영 환경에 올리면, 단순히 동작 여부만 확인하는 것으로는 부족합니다. 응답 품질, 비용, 실패율, 지연 시간을 체계적으로 추적하고 개선해야 합니다. 이를 위한 공식 툴이 LangSmith입니다. 이번 글에서는 체인과 에이전트의 관측(Observability), 리트라이 정책, 메트릭 관리를 LangSmith로 설정하는 방법을 살펴보겠습니다.1. LangSmith란 무엇인가?LangSmith는 LangChain 팀에서 제공하는 LLM 앱 관측·평가 플랫폼입니다.✅ 트레이싱(Tracing): 체인/에이전트 실행 과정을 단계별로 기록✅ 로깅(Logging): 입력·출력, 토큰 사용량, 비용 추적✅ 리트라이(Retry): 실패하거나 품질이 낮은 실행을 재시도✅ 평가(Evalua..
RAG 2025. 8. 16. 21:29
1