コンテキスト長の進化史
2025年5月、MetaはLlama 4シリーズの一部として「Llama 4 Scout」を発表した。その最大の特徴は、1000万トークンという前例のないコンテキストウィンドウだ。これは約750万語、日本語にして約1500万文字に相当する。文庫本にすると約50冊分のテキストを一度に処理できる計算になる。
コンテキスト長の進化を振り返ると、その加速度が分かる。2022年のGPT-3.5は4,096トークン。2023年のGPT-4で32,768トークン。Claude 2が100,000トークンに到達し、Gemini 1.5 Proが100万トークンの壁を突破した。そしてLlama 4 Scoutが、ついに1000万トークンという領域に踏み込んだ。
「コンテキスト長は知能の一形態だ」と言われることがある。人間が膨大な資料を読み込んで全体像を把握するように、AIも入力できる情報量が増えれば増えるほど、より複雑な判断が可能になる。1000万トークンは、その意味で質的な転換点だ。
Llama 4 Scoutのアーキテクチャ
Llama 4 Scoutが1000万トークンを実現できた背景には、革新的なアーキテクチャがある。従来のTransformerモデルでは、コンテキスト長の二乗に比例してメモリと計算量が増大するという根本的な制約があった。
特にMoE（Mixture of Experts）アーキテクチャの採用は重要だ。Llama 4 Scoutは109Bのアクティブパラメータと16のエキスパートモジュールを持つが、推論時には入力に応じて最適なエキスパートだけが活性化される。「必要な知識だけを効率的に使う」という設計思想が、巨大なコンテキストと軽量な動作を両立させている。
単一H100で動く意味
Llama 4 Scoutの最も驚くべき特徴は、単一のNVIDIA H100 GPU上で推論が可能だという点だ。1000万トークンのコンテキストを処理できるモデルが、たった1枚のGPUで動作する。これは業界の常識を覆す。
この「民主化」効果は計り知れない。H100 1枚のクラウド利用料は1時間あたり数ドル程度だ。つまり、スタートアップでも個人開発者でも、1000万トークンのコンテキストを持つAIを利用できるということになる。
実際のユースケースを考えてみよう。法律事務所が数百ページの契約書群を一括で分析する。研究者が何百本もの論文を同時に参照しながら文献レビューを行う。ソフトウェアエンジニアがリポジトリ全体のコードベースを理解した上でバグを修正する。これまで「情報量が多すぎて無理」と諦めていたタスクが、現実的に可能になる。
12言語対応とオープンソース戦略
Llama 4 Scoutは12の言語に対応している。英語、フランス語、ドイツ語、スペイン語、ポルトガル語、イタリア語、日本語、韓国語、中国語、アラビア語、ヒンディー語、タイ語だ。日本語がファーストクラスの対応言語に含まれていることは、日本のAI開発者にとって重要なポイントだ。
Metaのオープンソース戦略は一貫している。Llama 1から始まり、Llama 2で商用利用を解禁し、Llama 3で性能をGPT-4に匹敵するレベルまで引き上げた。そしてLlama 4は、コンテキスト長と効率性で新たな地平を切り開いた。
- 1
Llama 1（2023年2月） — オープンの始まり研究用途限定でモデルウェイトを公開。流出を経て事実上のオープンソースに。
- 2
Llama 2（2023年7月） — 商用利用解禁Microsoftと提携し、Azure上でも利用可能に。商用ライセンスを正式に提供。
- 3
Llama 3（2024年4月） — 性能の飛躍405Bモデルが多くのベンチマークでGPT-4に匹敵。オープンソースLLMの可能性を証明。
- 4
Llama 4 Scout（2025年5月） — コンテキスト革命1000万トークン、単一GPU動作、12言語対応。効率性と性能の新たな基準を確立。
なぜMetaはこれほどの技術をオープンソースとして公開するのか。理由はシンプルだ。AIのインフラ層をオープンにすることで、OpenAIやGoogleへの一極集中を防ぎ、Meta自身もエコシステムの恩恵を受けられる。オープンソースコミュニティが生み出す派生モデルやツールは、Metaの研究開発にもフィードバックされる好循環が生まれている。
開発者と企業への影響
Llama 4 Scoutの登場は、開発者と企業の両方に大きな影響を与える。
開発者にとって最大のメリットは、「コンテキスト長を気にせずアプリケーションを設計できる」ようになることだ。これまで、長いドキュメントを処理する場合はRAG（Retrieval Augmented Generation）のような複雑な手法が必要だった。しかし1000万トークンのコンテキストがあれば、多くのケースで文書をそのまま入力するだけで済む。
企業にとっては、AIの導入コストが劇的に低下する。オープンソースであるため、ライセンス費用は実質ゼロだ。自社のデータセンターやクラウド環境で自由にデプロイでき、データの外部送信も不要。金融、医療、官公庁など、データセキュリティが厳しい業界でも安心して利用できる。
一方で課題もある。1000万トークンのコンテキストを有効活用するためのプロンプト設計はまだ発展途上だ。また、長いコンテキスト内の情報を正確に参照する能力（いわゆる「Needle in a Haystack」性能）については、さらなる検証が必要とされている。
それでも、Llama 4 Scoutが示した方向性は明確だ。AIモデルは、より長く、より効率的に、より多くの人にアクセス可能な形で進化していく。1000万トークンは終着点ではなく、新たな出発点に過ぎない。
- → オープンソースAI vs クローズドAI。勝つのはどちらか
- → Microsoft Copilot、365全面統合。メール・Excel・TeamsにAI搭載
- → CRM×AIの未来。Salesforce Einsteinが変える営業の形