トークン

トークンとは、生成AIが文章を読み書きする際に扱うデータの「最小単位」のことです。単語や文字の一部ごとに分割して処理され、AIの利用料金の計算基準や、一度に処理・記憶できるデータ量（文脈の長さ）を測る重要な指標として広く使われています。