Çinli bir yapay zeka meraklısı olan APFrisco, Moonshot AI'nın trilyon parametreli modeli Kimi K2.5'i, 768 GB Intel Optane Kalıcı Bellek ile eşleştirilmiş tek bir Nvidia RTX 3060 GPU üzerinde başarıyla çalıştırdı. Orta seviye GPU'ya rağmen, kurulum saniyede yaklaşık dört token işleyerek alışılmadık donanım konfigürasyonlarının potansiyelini gösterdi.
Kimi K2.5, Uzman Karışımı (Mixture-of-Experts) modeli olup, her token için yalnızca 32 milyar parametreyi aktive eder ve bu sayede tüketici sınıfı donanımda çalışmasına olanak tanır. Modelin tam boyutu yaklaşık 630 GB iken, kuantize edilmiş versiyonları 381 GB'dir ve geleneksel DRAM'e kıyasla maliyet etkinliği nedeniyle Optane belleğin kullanılmasını gerektirir. Bu gösterim, Kimi K2.5'in açık ağırlıklı olması sayesinde ileri düzey yapay zeka modellerinin erişilebilirliğini vurgular ve meraklıların kurumsal altyapı olmadan büyük ölçekli yapay zeka deneyleri yapabilmesini sağlar.
Yapay Zeka Meraklısı, Optane Bellek ile RTX 3060 Üzerinde 1 Trilyon Parametreli Model Çalıştırdı
Sorumluluk Reddi: Phemex Haberler'de sunulan içerik yalnızca bilgilendirme amaçlıdır. Üçüncü taraf makalelerden alınan bilgilerin kalitesi, doğruluğu veya eksiksizliğini garanti etmiyoruz. Bu sayfadaki içerik finansal veya yatırım tavsiyesi niteliği taşımaz. Yatırım kararları vermeden önce kendi araştırmanızı yapmanızı ve nitelikli bir finans danışmanına başvurmanızı şiddetle tavsiye ederiz.
