MoE 推論の
SemiAnalysisTanj Bennett要
AI要約
SemiAnalysis が MoE 推論の計算とデータ移動を解説しました。 推論は Prefill、Midfill、Decode attention、Decode experts の 4 段階に分かれます。
AI要約です。詳しくは出典へ。誤りを報告
典
出典
1ソースSemiAnalysisComputation and Data Movement for Inferencenewsletter.semianalysis.com