分散型推測デコーディング(DSD)は、分散ネットワーク上での大規模言語モデル(LLM)推論を強化する画期的なフレームワークとして登場しました。Parallaxに統合されたDSDは、従来トークン生成を遅延させていたノード間の通信遅延の課題に対処します。遅延を追加の計算帯域幅に変換することで、DSDはスループットを2.6倍に増加させ、通信量を37%削減しながら、精度を損なうことなく実現しています。 DSDは、バッチ決済デコーディングと適応検証という2つの主要な革新を導入しています。バッチ決済デコーディングは複数のトークンを単一の検証サイクルにまとめることで同期のボトルネックを減らし、適応検証はトークンの重要度に基づいて検証を最適化し、品質を損なうことなく15〜20%の速度向上を実現します。これらの進歩により、スループットが向上しWAN遅延への依存が減少し、DSDはリモートクラスター間でのエージェント推論やコード生成などのタスクに強力なツールとなっています。