Przejdź do treści
promptowy.com / AI用語集 / MoE(Mixture of Experts / エキスパートの混合)
モデルと学習

MoE(Mixture of Experts / エキスパートの混合)

MoEとは、複数の専門特化したサブネットワークを用意し、質問内容に応じて必要な一部だけを稼働させることで、処理速度と性能を両立させるAIの設計手法です。

MoE(Mixture of Experts)とは、AIモデルの内部を複数の専門特化した小さなネットワーク(エキスパート)に分割し、入力された質問や文脈に応じて最適な一部のエキスパートだけを選んで動作させるアーキテクチャです。すべてを一度に動かす従来の方式に比べ、膨大な知識を蓄えながらも高速かつ低コストで計算できる利点があります。

近年の大規模言語モデル(LLM)では、賢さを追求するほどパラメータ数が増大し、動作が重くなるという課題がありました。MoEはこの課題を解決する重要な技術基盤となっており、巨大な規模を持ちながら軽快に応答できるモデルの多くに採用されています。

MoEの基本的な仕組みと「ルーター」の役割

MoEの核となるのは、エキスパート(専門家ネットワーク)と、それらを束ねるルーター(ゲート機構)の組み合わせです。

モデルに文章が入力されると、まずルーターが「この単語や文脈の処理にはどの専門家が最適か」を瞬時に判断します。そして、用意された多数のエキスパートの中から上位の1つから数個だけを選び出して計算を委託します。選ばれなかった他のエキスパートはその間休止しているため、無駄な計算リソースを消費しません。

身近な例え:市役所の総合案内窓口

MoEの動きは、地方都市の市役所や区役所にある総合案内窓口をイメージすると分かりやすいです。

もし市役所に専門分担がなく、1人の職員が住民票の発行から税金の相談、子育て支援、都市開発の手続きまで全員分の質問を1から10まで全部1人で抱えて回答しようとすると、調べる範囲が広すぎて対応に膨大な時間がかかります。これが従来の単一型(Dense)モデルの動きです。

一方、MoEを採用した市役所では次のようになります。

  • ルーター(総合案内係):入口で来庁者の用件を聞き、「税金の話なら3番窓口、保育園の相談なら5番窓口へどうぞ」と瞬時に案内します。
  • エキスパート(各専門窓口):案内された窓口の担当者だけが対応し、関係のない戸籍窓口や土木窓口の職員はその案件の計算に参加しません。

案内係の振り分けによって、市民は専門性の高い回答を待たされることなく受け取ることができます。

LLMでMoEを採用するメリット

AIの開発や運用において、MoEには明確な強みがあります。

  1. 推論速度の向上:全体のパラメータ数がどれほど巨大であっても、1回の計算で実際に動くパラメータ(アクティブパラメータ)が一部で済むため、利用者に素早く回答を返せます。
  2. 計算コストの削減:必要な部分だけを稼働させるため、データセンターのサーバー負荷や消費電力を大幅に抑えられます。
  3. 性能の上限引き上げ:計算資源の限界にぶつかることなく、モデル全体の記憶容量や専門性の幅を拡張できます。

よくある誤解:端末の必要メモリまで減るわけではない

MoEに関してよくある誤解は、「一部しか動かないなら、小さなパソコンやスマートフォンでも簡単に動かせるのではないか」という点です。

確かに計算にかかる処理量(演算回数)は減るため動作速度は上がりますが、モデル全体の知識データそのものはメモリ上に保持しておく必要があります。8人の専門家のうち2人しか同時に喋らないとしても、8人全員を待機させておく部屋(メモリ容量)は確保しなければなりません。そのため、ハードウェアの要求メモリ量自体は、モデル全体の総パラメータ規模に応じた大きさが必要となります。

よくある質問

従来のDense(高密度)モデルとMoEの違いは何ですか?

従来のDenseモデルは、1文字を処理するたびにモデル内のすべてのパラメータを総動員して計算します。一方、MoEはルーターによって選ばれたごく一部のパラメータ(エキスパート)だけを動かすため、同じ知識量であれば圧倒的に素早く計算できます。

ユーザー側で使うエキスパートを指定することはできますか?

いいえ、指定できません。どのエキスパートを呼び出すかは、AIモデルの内部にあるルーターネットワークが入力文の文脈や単語を分析して自動的かつ動的に切り替えています。

総パラメータ数とアクティブパラメータ数の違いは何ですか?

総パラメータ数はモデル全体が持つ知識やネットワークの合計規模を指し、アクティブパラメータ数は1回の処理の瞬間に実際に稼働しているパラメータの量を指します。MoEではアクティブパラメータ数が総数よりはるかに小さくなります。

← AI用語集一覧

🛒 Sklep Kinetyka CapCut Pro 460 zł/rok Lovable Pro 450 zł/rok Replit Core 119 zł/rok Zobacz wszystko →
× ‹ powiększenie ›