Mistral AI、vLLM のメモリリークを調査

Mistral AI が vLLM のメモリリークを調査しました。 リークは P/D 分離構成の decode 側でのみ発生しました。 システムメモリが毎分 400 MB 増加しました。

AI要約です。詳しくは出典へ。誤りを報告