tiktoken

はじめに：tiktokenとは何か？ 近年、ChatGPTをはじめとする大規模言語モデル（LLM）の進化は目覚ましいものがありますね。これらのモデル、特にOpenAIが開発したGPTシリーズ（GPT-3.5やGPT-4など）を利用する際、避...