こんにちは！ホストのアロイです。普段は大学でAI研究に携わりながら、最新の技術動向を分かりやすく解説する活動をしています。今日は、AI技術の最前線を切り開く論文「DeepSeek-V3 Technical Report」、日本語では「DeepSeek-V3技術報告」をご紹介します。オープンソースAIの新たな挑戦について、詳しくお話していきますね。

この論文は、オープンソースの大規模言語モデルDeepSeek-V3の開発に関するものです。従来、オープンソースモデルは商用モデルより性能が劣る傾向がありましたが、この研究ではMixture-of-Experts（MoE）というアーキテクチャを採用し、革新的な手法を導入することでこの課題を解決しています。具体的には、「補助損失なし」の負荷バランシング戦略や、複数トークンを同時に予測する訓練目標、8ビット浮動小数点を活用した学習フレームワークなどを開発しました。その結果、671Bという膨大なパラメータを持ちながら実際の処理では37Bのみが活性化される効率的なモデルが誕生し、約557万ドルという比較的経済的なコストで、商用モデルに匹敵する性能を達成しています。

ご説明しますね。DeepSeek-V3の研究は、「AIの民主化」とも言える取り組みなんです。これまで、誰でも使えるオープンソースAIは、GoogleやOpenAIなどの企業が開発する高性能AIに性能面で負けていました。簡単に言うと、無料で使えるAIと有料のAIには大きな差があったんです。DeepSeek-V3はこの問題を解決するため、「Mixture-of-Experts」という仕組みを使いました。これは、例えば学校で「数学の先生」「国語の先生」「理科の先生」などを必要に応じて呼び出すように、様々な専門AIを効率良く組み合わせる方法です。この工夫によって、オープンソースでありながら、有料の商用モデルと互角の性能を実現したんです。実際にテストでは、数学やコーディングなど様々な分野で素晴らしい成績を収め、約557万ドルという比較的低コストで開発できました。つまり、高性能AIが誰でも使える未来への大きな一歩なんですよ！

この論文は2025年2月18日に公開された論文で、現在もarxivにて無料公開されています。著者はDeepSeek-AIの研究チームによるものとなっています。arXivは研究者が論文を公開前に共有できるプラットフォームで、査読前の最新研究成果にアクセスできる貴重な場となっています。

この研究の背景には、大規模言語モデル（LLM）の急速な進化がありますが、オープンソースモデルは商用モデルに比べて性能面で劣っていたという課題がありました。DeepSeek-V3はこの問題を解決するために開発されたモデルです。具体的には、Mixture-of-Experts（MoE）というアーキテクチャを採用しています。これは、すべての計算を一度に行うのではなく、入力に応じて「専門家」と呼ばれる部分だけを活性化させる仕組みです。従来のMoEモデルでは、負荷バランシングのための補助損失関数が性能を低下させる問題がありましたが、DeepSeek-V3はその補助損失を使わない新しい戦略を導入しました。また、一度に複数の単語を予測するマルチトークン予測も採用して性能向上を図っています。

良い質問ですね！「補助損失関数」とは、AIが均等に仕事を分担できるように導入される追加の目標のようなものです。例えば、クラスの班活動で特定の人だけに仕事が集中しないよう先生が介入するイメージです。しかし、これが逆に性能を落とすことがわかりました。「マルチトークン予測」は、AIが一度に複数の単語を予測する能力のことです。例えば、普通のAIが「おはよう」と一語ずつ予測するのに対し、このモデルは「おはようございます」と先の言葉まで一気に予測できるんです。これにより処理速度が上がり、より自然な文章が生成できるようになります。

この研究では、DeepSeek-V3という大規模言語モデルをより効率的かつ経済的に構築するための様々な手法が検証されました。まず技術面での革新として、Multi-head Latent Attention（MLA）という推論時のメモリ使用量を削減する技術と、DeepSeekMoEという専門家モデルを組み合わせた構造を採用しています。このモデルは驚くべきことに総計671Bという膨大なパラメータを持ちながら、処理時には37Bだけが活性化される効率的な設計になっています。また、従来の問題点を解決する「補助損失なし」の負荷バランシング戦略や、複数の将来トークンを予測するマルチトークン予測訓練などの新しい学習戦略も導入されました。

「Multi-head Latent Attention」というのは、簡単に言うと「必要なときだけ注目する」仕組みなんです。例えば教室で先生の話を聞くとき、常に全ての言葉に集中するのではなく、重要なポイントだけをメモするようなものです。これにより計算効率が良くなります。次に671Bというのは、671ビリオン（6710億）のパラメータ数を意味します。これは地球上の全人口の約85倍もの数です！ですが通常は37Bだけが働くので、例えるなら大勢のスタッフがいる会社で、その時の仕事に必要な人だけが出勤するような効率的な仕組みになっているんですよ。

DeepSeek V3の学習規模は驚くほど効率的なんですよ。2048台のNVIDIA H800 GPUを使っていますが、これはGPU界のF1マシンとも言えるかなりハイスペックな機器です。最新鋭のH100ではないものの、依然として強力な性能があります。学習データは約14.8兆ものトークンで、1兆トークンの処理にかかる時間が約3.7日という驚異的なスピードです。全体の学習にかかった費用は約557万ドル（約8億円程度）ですが、これはGPT-4やClaudeのような他の大規模モデルと比べると、はるかに少ない投資で実現しています。つまり、少ないリソースでも高い性能を発揮できる、コスパの良いモデル開発に成功したということなんです。

この研究での最も重要な発見は、DeepSeek-V3というオープンソースモデルが商用モデルと肩を並べる性能を実現したことです。MMLU（多様な知識を測定するテスト）では88.5点、難度の高いMMU-Proでも75.9点、大学院レベルの問題集GPQAでは59.1点を獲得し、すべてのオープンソースモデルの記録を更新しました。数学分野では特に優れた性能を示し、MATH-500で90.2%、AIME 2024でも39.2%の正答率を達成。これは思考の連鎖を使わないモデルとしては最高の成績です。コーディング能力も飛躍的に向上し、HumanEval-Mulで82.6%、LiveCodeBenchで40.5%という高い成功率を記録しました。

先行研究と比較した場合のDeepSeek-V3の革新性は、いくつかの独自技術にあります。まず注目すべきは「補助損失なし」の負荷バランシング戦略です。従来のMoE（混合エキスパート）モデルでは、専門家と呼ばれる部分間の処理負荷に偏りが生じる問題がありました。この新しい方法では、余計な処理を加えることなく、すべての専門家が均等に活用されるようになり、効率的な処理と多様な専門性の維持を両立しています。また、マルチトークン予測という手法も画期的です。通常のAIは「次の単語は何か」を予測するだけですが、DeepSeek-V3は複数の将来の単語を同時に予測することで、より深い文脈理解と自然な文章生成を実現しています。

DeepSeek-V3は非常に高性能ですが、その利用にはいくつかの課題が存在します。まず、効率的な処理を行うためには大量のGPUリソースが必要となるため、小規模なチームや一般企業では運用が難しいという問題があります。また、前バージョンと比べて生成速度は向上しているものの、実用面で求められる低遅延にはまだ改善の余地があります。さらに、利用規約によりユーザーデータが運営側に自由に利用される可能性があり、プライバシーの面で懸念される点や、出力結果に政治的バイアスが反映されるという注意も必要です。一方、オープンウェイトモデルとして自社サーバーで運用すればデータ漏洩のリスクを軽減できるなど、利用方法に工夫すれば十分に活用できる面もあります。

この研究がもたらす応用可能性は実に幅広いんです。DeepSeek-V3の最大の強みはオープンソースモデルであることで、企業や大学などが自由に利用・改良できます。これによりAI開発の民主化が大きく進むでしょう。特に注目すべきは数学とコーディング分野での高い性能です。これにより、例えば高校生の数学学習をサポートするAIチューターや、プログラミングの効率を上げる開発支援ツールなどが実現可能になります。また128Kという長いコンテキスト処理能力は、法律文書や論文など長文を扱う専門分野で革命を起こす可能性があります。

それでは、今日お話しした内容をまとめていきましょう。DeepSeek-V3というオープンソースAIモデルについて、その革新的な技術と達成した成果について見てきました。

まず第一の要点は、DeepSeek-V3が様々なベンチマークテストで驚異的な成績を収めたことです。MMLUで88.5点、数学分野のMATH-500で90.2%、プログラミング関連のHumanEval-Mulで82.6%など、オープンソースモデルとしては最高の成績を達成しました。特にArena-Hardでは85.5%のスコアで、オープンソースモデルとして初めて85%の壁を突破したんです。

第二の要点は、このモデルを経済的に開発できたことです。DeepSeek-V3は革新的な「Mixture-of-Experts」構造と「補助損失なし」の戦略、さらにFP8混合精度訓練などの効率的な手法を採用。約557万ドルという比較的低コストで開発できました。これは、高性能AIが特定の大企業だけでなく、より広く開発・利用できる可能性を示しています。