Google DeepMind, metin ve görüntü girişlerini destekleyen ve daha küçük modelleri ses girişlerini de karşılayabilen Gemma 4 ailesi çok modlu modellerini açık kaynak yaptı. Bu modeller metin çıktıları üretiyor ve hem önceden eğitilmiş hem de talimatlarla ayarlanmış varyantlarda mevcut. 256K token'a kadar bağlam penceresi sunuyorlar ve 140'tan fazla dili destekliyorlar. İki mimaride sunuluyorlar: yoğun (dense) ve uzman karışımı (mixture-of-experts, MoE) ve dört boyutta: E2B, E4B, 26B A4B ve 31B. Gemma 4 modelleri yüksek performanslı çıkarım, genişletilmiş çok modlu işleme ve cihaz üzerinde optimizasyon özelliklerine sahip. Birleşik anahtar-değer çiftleri ve ölçeklendirilmiş RoPE (p-RoPE) içeren hibrit bir dikkat mekanizması kullanıyorlar. Özellikle, 26B A4B MoE modeli çıkarım sırasında yalnızca 3.8 milyar parametreyi etkinleştiriyor ve 4 milyar parametreli bir modele kıyasla benzer hızlar elde ederek verimlilik ve performansı artırıyor.