Nöbetçi Eczaneler
2024’te MIT’den bir grubun soyut akıl yürütme görevlerinde test zamanı eğitim (test-time training) ile ciddi performans sıçraması gösterdiği çalışma dikkat çekmişti — model her yeni bulmacaya karşı kendini kısa süreliğine “özelleştiriyor”du.
Bugünkü büyük dil modellerinin (GPT, Claude gibi) çalışma şekli şöyle:
Model bir kez, devasa bir veriyle eğitilir. Eğitim bitince ağırlıklar dondurulur. Siz onunla konuştuğunuzda, model sizin yazdıklarınızı sadece “bağlam” olarak okur, ama bu okuduklarından kalıcı bir şey öğrenmez — konuşma bitince her şeyi unutur.
Sürekli öğrenmede ise (continual learning), bir yapay zeka modelinin sadece eğitim aşamasında değil, kullanım sırasında da öğrenmeye devam etmesi gerçekleştirilir.
Model, karşılaştığı yeni bilgiyi (mesela okuduğu uzun bir metni) kendi ağırlıklarına işleyerek öğrenir — tıpkı eğitim sırasında yaptığı gibi. Yani “okuma” ile “öğrenme” arasındaki fark ortadan kalkar.
Model, uzun bir metni okurken, o metindeki bir sonraki kelimeyi tahmin etme görevini kullanarak ağırlıklarını gerçek zamanlı günceller— yani metni harici bir “not defteri” gibi tutmak yerine, metnin özünü kendi hafızasına (parametrelerine) sıkıştırır.
Bir benzetme: Klasik yaklaşım, her seferinde elinize bir kitap alıp sayfaları çevirerek bilgiye ulaşmak gibidir — kitabı kapattığınızda hiçbir şey ezberlemezsiniz.
Sürekli öğrenme ise, kitabı okurken aynı zamanda onu özümseyip beyninize kazımak gibidir; bir dahaki sefere kitaba bakmanıza gerek kalmaz, çünkü artık o bilgi sizin bir parçanız olmuştur.
Ilya Sutskever, son dönemde (Dwarkesh Patel ile yaptığı görüşmede) şunu savunuyor: AGI, trilyonlarca token ile bir kez eğitilip donan statik bir sistem olmayacak. Bunun yerine işbaşında öğrenen, performansı devreye alındıkça iyileşen bir sürekli öğrenici olacak. Ona göre gelecekteki sıçrama daha fazla GPU’dan değil, insan benzeri genelleme ve sürekli öğrenmenin altında yatan ilkeyi keşfetmekten gelecek .
Ayrıca: Sutskever’ın şirketi SSI (Safe Superintelligence) için haberlerde “Test-Time Training” mimarisi kullanılacağı ve bunun operasyon sırasında gerçek zamanlı öğrenmeyi mümkün kılacağı yönünde iddialar dolaşıyor. Ancak bu bilgiler SSI’nin resmi açıklamalarından değil, ikinci elden haber/söylenti kaynaklarından geliyor — SSI kendisi henüz bunu doğrulamadı, hatta ilk modelini ne zaman çıkaracağı bile net değil.
Ancak yine de Ilya Sutskever adını siz bir kenara yazın
YORUMLAR