プレフィックスとは
プレフィックスは、AIの文脈においてモデルへの入力の先頭に付加される情報やトークン列です。
主な用途
プレフィックスチューニング
大規模言語モデルの効率的なファインチューニング手法です。モデル全体ではなく入力先頭の小さなベクトル列のみを学習し、計算コストを大幅に削減します。
プレフィックスキャッシュ
推論コストの削減技術です。共通するプレフィックスの計算結果をキャッシュし重複計算を排除します。OpenAIのAPIでも提供されています。
ビジネスでの意義
限られた計算リソースでAIを活用したい企業にとって有用な技術です。
