4OurFuture 님의 블로그

2025.08.16 - [RAG] - 문서 인덱싱과 검색 — 벡터 스토어 구축 · Semantic Search 구현 문서 인덱싱과 검색 — 벡터 스토어 구축 · Semantic Search 구현2025.08.16 - [RAG] - RAG Bot 만들기: Retrieval 파트 —Vector DB, Vectorization RAG Bot 만들기: Retrieval 파트 —Vector DB, Vectorization2025.08.16 - [RAG] - [LangChain] 문서 로딩과 전처리 가이드 이전 글(문서 로딩·전처리)4ourfuture.tistory.com 3부(인덱싱·리트리버)에서 만든 retriever를 그대로 이어서 사용합니다. 이번 글의 목표는 Retrieval + LLM 결합 → Retri..

2025.08.16 - [RAG] - RAG Bot 만들기: Retrieval 파트 —Vector DB, Vectorization RAG Bot 만들기: Retrieval 파트 —Vector DB, Vectorization2025.08.16 - [RAG] - [LangChain] 문서 로딩과 전처리 가이드 이전 글(문서 로딩·전처리)에서 만든 docs/chunks를 이어서 사용합니다. 이 글에서는 벡터화(Vectorization) 원리, 벡터 데이터베이스 개요, 그리고4ourfuture.tistory.com 이 글은 앞선 글(문서 로딩·전처리, 벡터 DB 개요)에서 만든 docs/chunks를 이어서 사용합니다. 목표는 인덱싱(Indexing) → 검색(Retrieval) → Semantic Search..

2025.08.16 - [RAG] - [LangChain] 문서 로딩과 전처리 가이드 이전 글(문서 로딩·전처리)에서 만든 docs/chunks를 이어서 사용합니다. 이 글에서는 벡터화(Vectorization) 원리, 벡터 데이터베이스 개요, 그리고 FAISS · Pinecone · Weaviate로 인덱싱/검색/리트리버를 구성하는 전 과정을 실습 코드로 정리합니다. 0. 설치# 공통pip install -U langchain langchain-community langchain-openai langchain-text-splitters# FAISS (로컬)pip install faiss-cpu # Mac/리눅스. (윈도우는 'faiss-cpu' 미지원 → conda 권장)# Pinecone (매니지드..

Document Loaders · Text Splitters · Cleaning & Normalization (LangChain)RAG 파이프라인의 핵심은 “좋은 문서 입력”입니다. 어떤 소스에서 어떻게 로드하고, 어떻게 잘게 나눠(청킹) 저장하느냐가 검색 품질을 좌우합니다. 이 글에서는 LangChain에서 자주 쓰는 Document Loader와 Text Splitter, 그리고 Cleaning/Normalization 팁을 실전 코드와 함께 정리합니다.본 글 예제는 LangChain 최신 구조를 기준으로 작성했습니다.로더: langchain_community.document_loadersGoogle Drive: langchain_google_community스플리터: langchain_text_sp..

LangChain 애플리케이션을 운영 환경에 올리면, 단순히 동작 여부만 확인하는 것으로는 부족합니다. 응답 품질, 비용, 실패율, 지연 시간을 체계적으로 추적하고 개선해야 합니다. 이를 위한 공식 툴이 LangSmith입니다. 이번 글에서는 체인과 에이전트의 관측(Observability), 리트라이 정책, 메트릭 관리를 LangSmith로 설정하는 방법을 살펴보겠습니다.1. LangSmith란 무엇인가?LangSmith는 LangChain 팀에서 제공하는 LLM 앱 관측·평가 플랫폼입니다.✅ 트레이싱(Tracing): 체인/에이전트 실행 과정을 단계별로 기록✅ 로깅(Logging): 입력·출력, 토큰 사용량, 비용 추적✅ 리트라이(Retry): 실패하거나 품질이 낮은 실행을 재시도✅ 평가(Evalua..

이 글은 LangChain의 핵심 모듈을 개념 → 실습 예제 → 실무 팁 순서로 빠르게 익힐 수 있도록 구성했습니다. 예제 코드는 모두 최신 스타일(LCEL, | 파이프)과 분리 패키지(langchain-openai 등)를 사용합니다.1) LLMs — 언어 모델 연결과 호출핵심 개념 세 줄 요약LangChain은 "모델"을 직접 제공하지 않고, 외부 LLM(예: OpenAI) 또는 오픈소스 LLM에 연결합니다.모든 모델·체인은 공통으로 invoke / stream / batch 같은 Runnable 인터페이스를 지원합니다.OpenAI는 langchain-openai, Anthropic/Groq 등은 각 통합 패키지를 통해 연결합니다.설치pip install -U langchain langchain-ope..

생성형 AI 기반 애플리케이션을 만들 때 가장 중요한 요소 중 하나는 언어 모델(LLM) 선택입니다. LangChain은 자체 모델을 제공하지 않고, 다양한 외부 LLM을 손쉽게 연결해 사용할 수 있도록 해주는 오케스트레이션 프레임워크입니다. 이 글에서는 OpenAI API와 Hugging Face를 LangChain과 연동하는 방법을 살펴보고, 특히 Hugging Face의 장단점과 다양한 활용 옵션을 자세히 다루겠습니다.왜 외부 LLM 연동이 필요한가?LangChain은 주로 흐름 관리(Orchestration) 역할을 담당합니다. 즉, 문서를 불러오고, 전처리하고, 검색하고, 프롬프트를 구성하는 등 데이터와 모델 사이의 파이프라인을 만들어주는 역할을 합니다. 하지만 실제 텍스트를 생성하는 엔진은 외..

LangChain은 LLM(대형 언어 모델)과의 상호작용을 체계화하기 위해 다양한 유틸리티를 제공합니다. 그중 PydanticOutputParser는 LLM으로부터 받은 자유로운 텍스트 출력을 Pydantic 모델을 통해 안전하고 구조화된 데이터로 변환하는 핵심 도구입니다. 이 글에서는 PydanticOutputParser의 개념, 어노테이션 활용법, 실제 예시 코드를 중심으로 자세히 살펴보겠습니다.1. PydanticOutputParser란?LangChain이 제공하는 출력 파서(output parser) 중 하나로, Pydantic의 BaseModel을 내부적으로 활용합니다.LLM의 응답을 파싱(parse) 한 뒤, Pydantic 모델을 사용해 타입 검증과 구조 검증을 수행합니다.파싱 실패 시 Ou..