Cohere、
Cohere Blog要
AI要約
3行で- Cohere が North Mini Code 向けの megakernel を公開しました。
- バッチサイズ 1 で vLLM より 1.58 倍高速です。
- エンドツーエンドでは 1.25 倍から 1.41 倍です。
AI要約です。詳しくは出典へ。誤りを報告
Karunews が選んだ理由自社モデル向けサービングエンジンの設計と実測値が示され、推論基盤の性能をどう引き上げるかを判断する材料になります。
典
出典
1ソース · 一次情報Cohere Blog一次Inside the megakernel serving engine for North Mini Codecohere.com