トークン

トークンとは、AIが文章を処理する際の最小単位です。単語や文字の断片を指し、AIの「読解量」や「利用料金」の基準となります。Llama 3等の最新AIでは日本語の処理効率が向上し、より長大な情報を安価に扱えるようになりました。AIの活用規模やコストを測るための、ビジネスにおける重要な指標です。