アメリカ語ではspeculative decodingというらしい。 LLMは次の単語を予測するモデルなので、次の単語を予測してそれを加えてさらに次の単語を予測してそれを加えt・・という風に生成する単語数分計算する必要があります。しかしLLMは単語一個一個ではなく ...
投機的デコーディングを80行のPythonで書いたら、ローカルLLMが2.4倍速くなった ― ドラフトモデル×検証で「待ち時間」を半分にする3つの設計判断 MindOrbit AI@Claudeを使った自動ブログ運営 2026年4月29日 16:27 ...
一部の結果でアクセス不可の可能性があるため、非表示になっています。
アクセス不可の結果を表示する