Perplexity AI, çoklu GPU işlemlerini geliştirmek için tasarlanmış yüksek performanslı bir çıkarım araç seti olan pplx-garden'i açık kaynak yaptı. Bu sürümün merkezinde, NVIDIA'nın özel protokollerini atlayan ve geliştiricilerin pahalı donanım bağımlılıkları olmadan çeşitli GPU kümeleri arasında trilyon parametreli modelleri verimli bir şekilde çalıştırmasına olanak tanıyan Rust tabanlı bir iletişim kütüphanesi olan fabric-lib bulunuyor. Bu yenilik, hem NVIDIA ConnectX-7 hem de AWS EFA Ethernet NIC'lerini destekleyerek 400 Gbps'ye kadar ağ bant genişliği sağlıyor. Araç seti, verimli veri aktarımı için ImmCounter senkronizasyon mekanizmasını tanıtıyor ve Mixture-of-Experts modelleri için optimize edilmiş bir veri dağıtım algoritması içeriyor. Pratik uygulamalarda, pplx-garden çıkarım ve eğitim süreçlerindeki gecikmeyi önemli ölçüde azaltıyor ve ağırlık senkronizasyonunu sadece 1,3 saniyede tamamlıyor. Ayrıca, açık kaynaklı pplx-unigram tokenleştirici, CPU kullanımını altı kata kadar azaltarak tokenleştirme darboğazlarını etkili bir şekilde çözüyor.