序文: Meta-Llama-3-70B

自然言語処理の分野では、人間のような正確かつ流暢なテキストを理解・生成できる大規模言語モデル(LLM)の開発により、近年目覚ましい進歩が見られています。この革新の最前線に立つのがMetaです。同社はAIの可能性を絶えず押し広げ、先駆的な役割を果たしてきました。

本日、Metaは最も野心的なプロジェクトの1つ、革新的な大型言語モデル「Llama 3」を発表します。Llama 3は、その画期的なアーキテクチャ、大規模なトレーニングデータ、革新的なスケーリング手法により、自然言語処理の能力に飛躍的な進歩をもたらすことが期待されています。

画期的な性能

70Bパラメータを持つLlama 3は、その規模の大型言語モデルとして新たな最高水準を確立し、幅広いベンチマークと実用的なユースケースにおいて、GPT-3.5やClaude Sonnetなどの既存モデルを凌駕する卓越した性能を発揮します。

Metaは、アドバイス提供、ブレインストーミング、分類、閉鎖型問答、コーディング、創作文、抽出、役割演技、開放型問答、推論、書き換え、要約の12の主要ユースケースにわたる1,800のプロンプトを用いて人間による評価を実施しました。この評価では、同等規模の競合モデルと比較して、Llama 3の指示追従モデルが実世界のシナリオにおいて優れた性能を示すことが明らかになりました。

さらに、Llama 3の事前学習モデルも、8Bおよび70Bパラメータ規模の大型言語モデルとして新たな最高水準を確立しています。

大規模で多様なトレーニングデータ

Llama 3の卓越した性能の鍵となったのが、その膨大かつ多様なトレーニングデータです。

• 15兆トークンを超える規模(Llama 2の7倍)
• コードデータは4倍
• 30以上の言語をカバーする高品質な非英語データが5%以上

Metaは、ヒューリスティックフィルター、非適切コンテンツフィルター、意味的重複排除アプローチ、テキスト分類器などの一連のデータフィルタリングパイプラインを導入し、最高品質のトレーニングデータを確保しました。興味深いことに、Metaは前世代のLlamaモデル自体を活用し、Llama 3のテキスト品質分類器のトレーニングデータを生成するなど、モデルの自己改善能力を発揮しています。

大規模化へ向けた取り組み

Llama 3の開発においてMetaは、下流のベンチマーク評価に関する詳細なスケーリング法則を確立し、最適なデータミックスを選択し、トレーニング計算リソースを最適化する判断を下すことができました。

スケーリングの振る舞いを観察したところ、8Bパラメータモデルに対するChinchilla最適トレーニング計算量を大きく上回る15兆トークンのデータでも、モデル性能は対数線形的に改善し続けることがわかりました。大規模モデルの方が小規模モデルと同等の性能を発揮するのに少ないトレーニング計算で済みますが、推論時の効率性から小規模モデルが一般的に好まれます。

最大級のLlama 3モデルをトレーニングするため、Metaはデータ並列化、モデル並列化、パイプライン並列化の3種類の並列化手法を組み合わせました。最も効率的な実装では、同時に16,000のGPUを使ってトレーニングを行った際、1GPUあたり400 TFLOPSを超える計算利用率を達成しています。

指示追従と責任あるAI

チャット用途でLlama 3の本当の力を引き出すため、Metaは指示追従の手法を革新的に改善しました。監視付き微調整(SFT)、リジェクションサンプリング、近接ポリシー最適化(PPO)、直接ポリシー最適化(DPO)を組み合わせた手法です。

SFTで使用するプロンプトの質やPPOおよびDPOで使用する選好ランキングが、モデルのパフォーマンスに大きな影響を与えます。Metaはこれらのデータを慎重に策定し、人間アノテーターによるアノテーションに対して複数回の品質保証を行うことで、モデル品質を大幅に改善しています。

PPOやDPOを通じた選好ランキングからの学習も、Llama 3の推論やコーディングタスクにおける性能を大きく向上させました。モデルが推論問題で正解を導き出せない場合、正しい推論の軌跡は生成できるものの、それを選択する方法がわからないことがあります。選好ランキングを用いたトレーニングにより、モデルはその選択方法を学習できるようになります。

Metaはさらに、Llama 3の責任あるAI開発と展開に向けてシステムレベルのアプローチを採用しています。これには、化学、生物、サイバーセキュリティなどのリスク領域における誤用リスクを評価するための広範なレッドチームテストや、Llama Guard 2、CyberSec Eval 2、Code Shield(LLMが生成する不適切なコードをフィルタリングする推論時ガードレール)などの新しい信頼とセキュリティツールの導入が含まれます。また、LLMの責任あるAI開発のための包括的なガイドラインとして、責任あるAI利用ガイド(RUG)も更新されました。

展開と今後の計画

Llama 3は間もなく、クラウドプロバイダー、モデルAPIプロバイダーなど、主要なプラットフォーム全てで利用可能になります。

Metaのベンチマーク評価では、改良された分かち書きツールとGQAの導入により、Llama 2 7Bと同等の推論効率を維持できることが示されています。これは70Bモデルが10億パラメータ多いにもかかわらずの結果です。

8BおよびLlama 3 70Bモデルはリリースの始まりに過ぎず、今後さらに大きなモデルが控えています。数か月以内に、マルチモーダル対応、複数言語対応、より長いコンテキストウィンドウ、推論やコーディングなどの中核的能力の強化などの新機能が導入される予定です。また、Llama 3のトレーニングが完了次第、詳細な研究論文も公開されます。

Metaは、責任を持ってモデルをリリースし、オープンなAIエコシステムの成長と発展に貢献することを約束します。オープンさは、より良く安全な製品、より速いイノベーション、より健全な市場をもたらすと確信しています。Llama 3では、コミュニティファーストのアプローチを採用し、開発中のモデルをできるだけ早期に公開することで、コミュニティがアクセスできるようにしています。

結論

70Bパラメータを持つ革新的なLlama 3は、大型言語モデルの発展に大きな里程標を刻む偉業です。卓越した性能、大規模で多様なトレーニングデータ、革新的なスケーリング手法、責任あるAI開発アプローチにより、Llama 3は自然言語処理の分野でゲームチェンジャーとなるモデルです。

MetaがLLMの可能性を押し広げ続けるなか、オープンなAIエコシステムはLlama 3がもたらすイノベーションと進歩の恩恵を受けることでしょう。この画期的なモデルのリリースは、単なる技術的な到達点にとどまらず、MetaがAI分野での卓越を追求し続ける決意の証でもあります。