Google, Titans'ı Öneriyor: Bilgi İşlem Gücü Sınırlarını Aşmak ve Bağlamı Genişletmek

25 Şubat'ta Google Research, Titanlar hakkında yeni bir çalışma yayınladı. Yeni bir nöral uzun süreli bellek modülü, üç kafalı işbirlikçi mimari ve donanım optimizasyonu tasarım modüllerinin tanıtılmasıyla, büyük modelin bağlam penceresi 2 milyon jetona genişletilirken, Bilgi İşlem Gücü yalnızca 1,8 kat daha büyüktür. Titans, Bilgi İşlem Gücü'nün Transformer modelinin uzun bağlamlarının işlenmesindeki darboğazını çözmekle kalmıyor, aynı zamanda biyomimetik tasarım yoluyla insan bellek sisteminin hiyerarşik mekanizmasını simüle ediyor ve ilk kez 2 milyon token'ın ultra uzun bağlamının doğru çıkarımını gerçekleştiriyor.