解説
さらに詳しく解説
パラメータとは
機械学習におけるパラメータ（Parameter）は、モデルが学習によって獲得する内部の値です。ニューラルネットワークの重み（weight）やバイアス（bias）がパラメータに該当します。
パラメータとハイパーパラメータ
| 項目 | パラメータ | ハイパーパラメータ |
|---|---|---|
| 定義 | 学習で獲得 | 事前に設定 |
| 例 | 重み、バイアス | 学習率、層数 |
| 調整方法 | 自動（学習） | 手動/探索 |
| 数 | 数億〜数兆 | 数十〜数百 |
[LLM](/glossary/llm)のパラメータ規模
パラメータ数と性能
スケーリング則（Scaling Laws）:
├── パラメータ数増加 → 性能向上
├── 学習データ増加 → 性能向上
├── 計算量増加 → 性能向上
└── ただし収穫逓減が発生パラメータの構成
Transformerのパラメータ:
├── 埋め込み層
│ └── 語彙数 × 次元数
├── Attention層（各層）
│ ├── Query重み
│ ├── Key重み
│ ├── Value重み
│ └── 出力重み
├── FFN層（各層）
│ ├── 第1全結合層
│ └── 第2全結合層
└── 出力層
└── 次元数 × 語彙数パラメータ計算例
7Bモデルの概算:
├── 埋め込み: 50,000 × 4,096 ≈ 200M
├── 32層のAttention/FFN ≈ 6.5B
└── 出力層 ≈ 200M
合計 ≈ 7B（70億）パラメータパラメータ効率化技術
| 技術 | 説明 | 効果 |
|---|---|---|
| 量子化 | 精度を下げる | メモリ削減 |
| プルーニング | 不要パラメータ削除 | サイズ削減 |
| 知識蒸留 | 小型モデルに転写 | 軽量化 |
| LoRA | 低ランク適応 | 効率的学習 |
パラメータの保存と配布
| 形式 | 特徴 |
|---|---|
| PyTorch (.pt) | PyTorch標準 |
| SafeTensors | 安全性重視 |
| GGUF | llama.cpp用 |
| ONNX | 互換性重視 |
パラメータとメモリ
メモリ必要量（[推論](/glossary/inference)時）:
├── FP32: パラメータ数 × 4バイト
│ └── 7B × 4 = 28GB
├── FP16: パラメータ数 × 2バイト
│ └── 7B × 2 = 14GB
└── INT8: パラメータ数 × 1バイト
└── 7B × 1 = 7GB実務上の考慮点
- モデル選択: タスクに適したサイズ選択
- ハードウェア: 利用可能なメモリとの整合
- 量子化: 精度とリソースのトレードオフ
- **ファインチューニング**: 効率的な手法の選択
この用語が登場した記事(2件)
NVIDIA次世代基盤「Vera Rubin」発表：AIは対話から「実務代行」へ
CES 2026でNVIDIAが新プラットフォーム「Vera Rubin」を発表。Blackwellの後継として、自律的に業務を行う「エージェンティックAI」に最適化。IntelやAMDの動向と共に、2026年のAIインフラ競争を解説します。
OpenAIが広告導入へ。月額8ドル「ChatGPT Go」と新モデルGPT-5.2も発表
OpenAIが収益構造の改革に着手。米国でChatGPT内への広告表示テストを開始し、月額8ドルの新プラン「ChatGPT Go」を発表しました。最新の軽量モデル「GPT-5.2 Instant」を搭載し、AppleやGoogleへの対抗策を打ち出す同社の戦略を解説します。