戻る視点·Hugging Face Blog一次·7/10（金） 09:00· 7/10（金）PyTorch、attention の実装を比較Hugging Face Blog要AI要約PyTorch の attention 実装をプロファイラーで比較しました。 ナイーブ実装では masked_fill がメモリコピーを発生させます。 masked_fill_ に変えるとカーネルが 1 つ減ります。AI要約です。詳しくは出典へ。誤りを報告典出典1ソース · 一次情報Hugging Face Blog一次7/10（金） 09:00Profiling in PyTorch (Part 3): Attention is all you profilehuggingface.co出典を読む