解説
さらに詳しく解説
重みデータ(Weights)は、ニューラルネットワークが学習を通じて獲得した「パラメータ」の値です。AIモデルの「知能」そのものと言える存在で、モデルファイルとして保存・配布される実体でもあります。
イメージ
人間の脳における「シナプスの結合の強さ」に相当します。学習を重ねるほど、入力から望ましい出力を生成するために最適な重みの値が形成されていきます。
入力 → [重みW1] → 中間層 → [重みW2] → 中間層 → ... → 出力各矢印の太さ(重みの値)が学習で変化することで、モデルが賢くなっていきます。
重みの規模
現代のLLMはパラメータ(≒重みの数)が膨大です。
| モデル例 | パラメータ数 | ファイルサイズ(FP16) |
|---|---|---|
| GPT-2 | 1.5B | 約3GB |
| GPT-3 | 175B | 約350GB |
| Llama 3 70B | 70B | 約140GB |
| GPT-4 / Claude 4 級 | 数千億〜数兆 | 公開されず |
重みファイルの形式
| 形式 | 概要 |
|---|---|
| .bin / .pt | PyTorch標準 |
| .safetensors | 安全に配布可能な形式(推奨) |
| .gguf | llama.cpp向け量子化形式 |
| .onnx | 異機種間で共有可能 |
オープンウェイトの登場
Meta(Llama)、Google(Gemma)、Mistral などが「重みを公開する」ことで、誰でも商用クラスのAIをローカルで動かせる時代になりました。これは オープンソース と並ぶ AI 民主化の流れです。
重みと知能の関係
- 重みの値そのものを見ても何が学習されているかは人間には読み取れない(ブラックボックス問題)
- 同じアーキテクチャでも、学習データ・学習量・学習手法で重みは大きく変わる
- ファインチューニングは重みを目的に合わせて微調整する作業
- 量子化は重みの精度を下げてサイズを縮小する技術
重みのライセンス・利用権
オープンウェイトモデルでも、重みの利用には条件があります。
| 種類 | 例 | 商用利用 |
|---|---|---|
| Apache 2.0 | Mistral系 | 自由 |
| MIT | 多くの研究モデル | 自由 |
| Llama独自 | Llama 3 | 条件付き可 |
| 研究目的のみ | 一部学術モデル | 不可 |
重みのセキュリティ
重みファイルにマルウェアを混入させる攻撃も報告されており、信頼できるソースから取得することが推奨されます。safetensors 形式は、従来の .pt 形式より安全な配布形式として普及しています。
実務での重みの扱い
重みは「AIの記憶と知能の物理的実体」であり、AI戦略における最も重要な資産の1つです。
