[ChatGPT] Open AI에서 공식적으로 제공하는 토큰 수 계산 및 비용 산출 자동화 모듈(ticktoken)

GPT API를 활용한 모델 파인튜닝이나 호출 시, 입력 데이터가 얼마나 많은 토큰으로 구성되어 있는지 파악하는 것은 매우 중요합니다. 특히, fine-tuning의 경우 텍스트 데이터의 토큰 수에 따라 비용이 산정되기 때문에, CSV 파일 같은 데이터 소스를 분석하여 예상 비용을 미리 확인하는 것이 유용합니다. 이번 포스트에서는 파이썬의 csv 모듈과 OpenAI의 "tiktoken 라이브러리"를 활용하여 CSV 파일의 텍스트 데이터를 토큰화하고, 그 토큰 수에 따라 예상 비용을 계산하는 방법을 소개합니다.ticktoken 경로 : https://github.com/openai/tiktoken CSV를 통한 학습 토큰 조회 코드 소개아래 코드는 CSV 파일의 모든 내용을 읽어 하나의 문자열로 변환한 후..
AI 도구 활용방법 2025. 3. 17. 23:24
1