Perplexity AIは、高性能な推論ツールキットであるpplx-gardenをオープンソース化しました。これはマルチGPU操作を強化するために設計されています。このリリースの中心となるのは、Rustベースの通信ライブラリであるfabric-libで、NVIDIAの独自プロトコルを回避し、開発者が高価なハードウェアに依存せずに多様なGPUクラスター上で兆単位のパラメータモデルを効率的に実行できるようにします。この革新は、NVIDIA ConnectX-7およびAWS EFA Ethernet NICの両方をサポートし、最大400Gbpsのネットワーク帯域幅を実現しています。 このツールキットは、効率的なデータ転送のためのImmCounter同期機構を導入し、Mixture-of-Expertsモデルに最適化されたデータ分配アルゴリズムを含んでいます。実際の応用では、pplx-gardenは推論およびトレーニングプロセスのレイテンシを大幅に削減し、重みの同期をわずか1.3秒で完了します。さらに、オープンソース化されたpplx-unigramトークナイザーはCPU使用率を最大6倍削減し、トークン化のボトルネックに効果的に対処しています。