Google、
Google Research要
AI要約
3行で- Google が圧縮アルゴリズム TurboQuant を公開しました。
- KV キャッシュを 3 ビットに量子化できます。
- 学習やファインチューニングは不要です。
AI要約です。詳しくは出典へ。誤りを報告
Karunews が選んだ理由KV キャッシュのメモリ削減とベクトル検索の高速化を両立する圧縮手法の仕組みと評価結果が示されています。
典
出典
1ソース · 一次情報Google Research一次TurboQuant: Redefining AI efficiency with extreme compressionresearch.google