パラメータ数

パラメータ数とは

パラメータ数（Parameters）は、AIモデル内部の学習可能な変数の数を指します。ニューラルネットワークの各接続の「重み」と「バイアス」がパラメータに該当し、モデルの規模や能力を表す指標の一つです。

パラメータの役割

ニューラルネットワークでは、各層のニューロン間の接続に重みが設定されています。学習プロセスでは、このパラメータを調整することでデータのパターンを記憶します。パラメータ数が多いほど、より複雑なパターンを学習できる可能性があります。

主要モデルのパラメータ数

• GPT-3: 1,750億パラメータ
• GPT-4: 推定数兆パラメータ（公式非公開）
• **Llama 3**: 80億〜700億パラメータ
• Gemma: 20億〜270億パラメータ

パラメータ数と性能の関係

スケーリング則

一般に、パラメータ数・データ量・計算量を増やすとモデルの性能が向上することが知られています（スケーリング則）。しかし、パラメータ数だけでモデルの優劣は決まりません。

効率的なモデル

少ないパラメータ数でも、学習データの品質や学習手法の工夫で高い性能を達成するモデルもあります。

関連する概念

コンピュートコスト

パラメータ数が多いほど学習・推論に必要な計算資源（GPU、メモリ）が増大します。

量子化・蒸留

大規模モデルのパラメータを圧縮・軽量化する技術で、精度を維持しつつ推論コストを削減します。