표제어 추출(Lemmatization)과 어간 추출(Stemming) 비교

자연어 처리(NLP)에서 텍스트 데이터를 효과적으로 다루기 위해서는 전처리 과정이 필수적입니다. 이 과정에서 가장 흔히 사용되는 기법 중 두 가지가 **표제어 추출(Lemmatization)**과 **어간 추출(Stemming)**입니다. 이 글에서는 이 두 기법을 비교하여 그 차이점과 장단점을 살펴보겠습니다.  1. 정의1.1. 표제어 추출 (Lemmatization)표제어 추출은 단어를 그 기본 형태(표제어)로 변환하는 과정입니다. 문맥을 고려하여 단어의 의미를 유지하며, 일반적으로 사전 기반의 접근 방식을 사용합니다. 예를 들어, "running", "ran", "better"는 모두 "run"으로 변환됩니다.1.2. 어간 추출 (Stemming)어간 추출은 단어의 변형을 줄여 기본 형태인 "어간"..
자연어 처리 2024. 10. 2. 13:02
1