SemiAnalysis、Engram の推論を分析

• ・SemiAnalysis が Engram の再現実験と推論性能を分析しました。
• ・Engram は複数 Token の参照を学習して埋め込みを拡張します。
• ・DRAM へのオフロードで HBM を KV キャッシュに回せます。

AI要約です。詳しくは出典へ。誤りを報告