Görüntü kaynağı: Sınırsız AI tarafından oluşturuldu
İnsanlar yeni kavramları öğrenmekte ve bunları sistematik olarak mevcut kavramlarla birleştirmekte iyidir. Örneğin, bir çocuk zıplamayı öğrendikten sonra, bir beceri kombinasyonu yoluyla iki kez geriye veya bir koninin etrafında nasıl zıplayacağını anlayabilir.
Eski ve yeni kavramları birleştirme yeteneğine atik genelleme denir.
Daha önce, iki bilişsel bilim adamı, Jerry Fodor ve Zenon Pylyshyn, yapay sinir ağlarının bu yetenekten yoksun olduğunu ve bu nedenle insan bilişinin güvenilir modelleri olarak uygun olmadığını savunmuştu. **
Bununla birlikte, Nature'da yayınlanan yeni bir çalışma, 35 yıldır var olan bu fikre meydan okuyor.
Çalışmada, New York Üniversitesi'nde psikoloji ve veri bilimi yardımcı doçenti olan Brenden Lake ve İspanya'daki Katalan Enstitüsü'nde (ICREA) profesör olan Marco Baroni, insan sistemlerine benzer genelleme yeteneğine sahip bir sinir ağı önerdi. **
Özellikle, araştırma ekibi organizasyonel yetenekleri optimize etmek için bir "kombinatoryal meta-öğrenme (MLC)" yaklaşımı kullandı. İnsanları ve sinir ağlarını yan yana karşılaştırarak, MLC'nin insan benzeri sistemleri genelleştirme yeteneğinde ustalaştığını ve hatta bazen aştığını buldular. Buna ek olarak, MLC, çeşitli sistematik genelleme kıyaslamalarında makine öğrenimi sistemlerinin birleşik becerilerini geliştirmiştir.
Bu yaklaşım, makinelerin insanlarla daha doğal bir şekilde etkileşime girmesine olanak tanır, hatta bugün mevcut olan en iyi yapay zeka sistemlerinden bile daha iyidir. ChatGPT gibi Büyük Dil Modellerine (LLM'ler) dayalı sistemler birçok durumda iyi çalışsa da, diğerlerinde önemli kusurlar ve tutarsızlıklar sergilerler.
"Meta-öğrenme sinir ağı aracılığıyla insan benzeri atik genelleme" başlıklı ilgili makale, yetkili bilimsel dergi Nature'da yayınlandı.
Araştırma ekibi, meta-öğrenme yöntemlerinin sinir ağının eğitim dışındaki görevlere genellenmesine izin veremese de, bulgularının gelecekte insan beyni gibi davranan yapay zekanın geliştirilmesine yardımcı olabileceğini söyledi.
İnsan seviyesine ulaşmak, hatta onu geçmek
Bu çalışmada, MLC yaklaşımı, sembolik mekanizmalar eklenmeden ve yapay olarak tasarlanmış iç temsiller veya tümevarımsal önyargılar olmadan yalnızca sıradan sinir ağlarını kullanmıştır.
MLC'lerin yeteneklerini göstermek için, araştırmacılar aynı sistematik genelleme testinde insanları ve makineleri paralel olarak değerlendirdiler. Özellikle, insanların ve makinelerin yapılandırılmış cebir sistemlerini öğrenme yeteneklerini incelemek ve küçük bir örneklem sayısıyla öğrenerek insan sistematik genellemesini değerlendirmek için sözde dilde öğretim öğrenme görevlerini kullandılar. **
MLC mimarisi (Kaynak: Makale)
İnsanlarda tümevarımsal önyargıları ve bu önyargıların sistematik genellemeyi nasıl desteklediğini veya engellediğini araştırmak için, araştırmacılar oldukça belirsiz bir dil inceleyerek değerlendirdiler. Bu değerlendirmelerde, MLC'ler insan düzeyinde sistematik genellemeler elde etmede (hatta aşmada) mükemmeldir. **
Ek olarak, MLC, hem saf cebirsel akıl yürütmede hem de karmaşık insan kombinatoryal davranışını simüle etmede insanlara benzer bir hata modeli sergiler, bu da sinir ağlarının yalnızca mükemmel modelleme yeteneklerine sahip olmadığını, aynı zamanda karmaşık insan davranışını simüle etmede de iyi performans gösterdiğini gösterir.
Buna ek olarak, araştırma ekibi, MLC'nin sistematik sözcüksel genellemedeki performansına odaklanmak için, özellikle yeni kelimeler ve kelime kombinasyonları (sadece yeni cümle yapıları değil) ile uğraşmak için yaygın olarak kullanılan iki kıyaslama olan SCAN11 ve COGS16 ile deneyler yaptı. **Sonuçlar, insan davranışını tahmin etmede mükemmelleşmenin yanı sıra, MLC'nin makine öğrenimi için sistematik genelleme karşılaştırmasında yalnızca %1'den daha az bir hata oranına sahip olduğunu göstermektedir. **
Çalışma, üstün kombinatoryal becerileri sayesinde, MLC'nin optimize edilmiş bir standart sinir ağının sistematik genellemede insan performansını taklit etmesini ve hatta aşmasını nasıl sağladığını ve böylece karşılaştırmalı olarak daha güçlü bir sistematizasyon gösterdiğini göstermektedir. MLC, standart yollarla eğitilmiş sinir ağlarından daha incelikli davranışlar sergiler. Buna ek olarak, MLC, sinir ağlarının, izole edilmiş ilkellerin sistematik kullanımı ve anlam çıkarmak için mutex kullanımı gibi bilinen diğer zorlukları ele almasını sağlar.
Umarım daha geniş bir sorunu çözer
**MLC ile elde edilen bazı başarılara rağmen, tüm zorlukları çözmüyor. Örneğin, MLC, meta-öğrenme dağılımının dışında, uygulanmamış genelleştirilmiş formlar veya kavramlarla otomatik olarak ilgilenemez. Ayrıca, optimize edilmemiş endüktif yanlılığına genelleme yapamaz.
Makine öğrenimi bağlamında, meta-öğrenme stratejileri, belirli bir test maddesi olay örgüsündeki araştırma örneklerine göre dağılım dışı olsa bile, genelleme yeni bölümleri eğitim grafiğine göre dağıttığında başarılı olur. Bununla birlikte, tek başına meta-öğrenmeye güvenmek, standart ağların meta-öğrenme sırasında sunulan bölümlere göre dağılım dışı bölümlere genelleme yapmasını sağlamaz. Mevcut mimariler ayrıca yeni semboller yaymak için bir mekanizmadan yoksundur, ancak çalışma örnekleri aracılığıyla tanıtılan yeni semboller ek bir işaretçi mekanizması aracılığıyla tanıtılabilir.
Makine öğrenimi bağlamında, yeni senaryolar eğitim senaryolarına göre benzer şekilde dağıtıldığında meta-öğrenme stratejileri başarılı olur. Bununla birlikte, yalnızca meta-öğrenmeye güvenmek, standart sinir ağlarının eğitim senaryosunun ötesinde dağılımları genelleştirmesine izin vermez. Ayrıca, mevcut mimaride yeni semboller oluşturmak için bir mekanizma yoktur.
Son olarak, MLC, doğal dilin ve diğer yöntemlerin tüm karmaşıklığı üzerinde test edilmemiştir. Bu nedenle, her yönüyle ve gerçek eğitim deneyiminden insan benzeri bir sistematizasyon sağlayıp sağlayamayacağı henüz belirlenmemiştir.
Bununla birlikte, araştırmanın MLC'nin daha geniş bir konu yelpazesini ele almasına yardımcı olması bekleniyor. Örneğin, bir LLM'ler, standart eğitimi değiştirerek (bir sonraki kelimenin tahmini gibi) ve sürekli olarak yeni kelime dağarcığı sunarak kombinatoryal becerilerini optimize ederek özel meta-öğrenme gerçekleştirebilir.
Son olarak, yazarlar makalede şöyle diyorlar: "MLC'yi her alana uygulamak uzun vadeli bir çaba olsa da, insan kombinatoryal becerilerinin kökenlerini anlamada ve modern AI sistemlerinin daha insan benzeri davranmasını sağlamada gerçek bir umut görüyoruz." **"
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Doğa ağır: İnsanların bu yeteneği AI tarafından ustalaştı ve hatta aşıldı
Orijinal kaynak: Akademik başlıklar
İnsanlar yeni kavramları öğrenmekte ve bunları sistematik olarak mevcut kavramlarla birleştirmekte iyidir. Örneğin, bir çocuk zıplamayı öğrendikten sonra, bir beceri kombinasyonu yoluyla iki kez geriye veya bir koninin etrafında nasıl zıplayacağını anlayabilir.
Eski ve yeni kavramları birleştirme yeteneğine atik genelleme denir.
Daha önce, iki bilişsel bilim adamı, Jerry Fodor ve Zenon Pylyshyn, yapay sinir ağlarının bu yetenekten yoksun olduğunu ve bu nedenle insan bilişinin güvenilir modelleri olarak uygun olmadığını savunmuştu. **
Bununla birlikte, Nature'da yayınlanan yeni bir çalışma, 35 yıldır var olan bu fikre meydan okuyor.
Çalışmada, New York Üniversitesi'nde psikoloji ve veri bilimi yardımcı doçenti olan Brenden Lake ve İspanya'daki Katalan Enstitüsü'nde (ICREA) profesör olan Marco Baroni, insan sistemlerine benzer genelleme yeteneğine sahip bir sinir ağı önerdi. **
Özellikle, araştırma ekibi organizasyonel yetenekleri optimize etmek için bir "kombinatoryal meta-öğrenme (MLC)" yaklaşımı kullandı. İnsanları ve sinir ağlarını yan yana karşılaştırarak, MLC'nin insan benzeri sistemleri genelleştirme yeteneğinde ustalaştığını ve hatta bazen aştığını buldular. Buna ek olarak, MLC, çeşitli sistematik genelleme kıyaslamalarında makine öğrenimi sistemlerinin birleşik becerilerini geliştirmiştir.
Bu yaklaşım, makinelerin insanlarla daha doğal bir şekilde etkileşime girmesine olanak tanır, hatta bugün mevcut olan en iyi yapay zeka sistemlerinden bile daha iyidir. ChatGPT gibi Büyük Dil Modellerine (LLM'ler) dayalı sistemler birçok durumda iyi çalışsa da, diğerlerinde önemli kusurlar ve tutarsızlıklar sergilerler.
"Meta-öğrenme sinir ağı aracılığıyla insan benzeri atik genelleme" başlıklı ilgili makale, yetkili bilimsel dergi Nature'da yayınlandı.
Araştırma ekibi, meta-öğrenme yöntemlerinin sinir ağının eğitim dışındaki görevlere genellenmesine izin veremese de, bulgularının gelecekte insan beyni gibi davranan yapay zekanın geliştirilmesine yardımcı olabileceğini söyledi.
İnsan seviyesine ulaşmak, hatta onu geçmek
Bu çalışmada, MLC yaklaşımı, sembolik mekanizmalar eklenmeden ve yapay olarak tasarlanmış iç temsiller veya tümevarımsal önyargılar olmadan yalnızca sıradan sinir ağlarını kullanmıştır.
MLC'lerin yeteneklerini göstermek için, araştırmacılar aynı sistematik genelleme testinde insanları ve makineleri paralel olarak değerlendirdiler. Özellikle, insanların ve makinelerin yapılandırılmış cebir sistemlerini öğrenme yeteneklerini incelemek ve küçük bir örneklem sayısıyla öğrenerek insan sistematik genellemesini değerlendirmek için sözde dilde öğretim öğrenme görevlerini kullandılar. **
İnsanlarda tümevarımsal önyargıları ve bu önyargıların sistematik genellemeyi nasıl desteklediğini veya engellediğini araştırmak için, araştırmacılar oldukça belirsiz bir dil inceleyerek değerlendirdiler. Bu değerlendirmelerde, MLC'ler insan düzeyinde sistematik genellemeler elde etmede (hatta aşmada) mükemmeldir. **
Ek olarak, MLC, hem saf cebirsel akıl yürütmede hem de karmaşık insan kombinatoryal davranışını simüle etmede insanlara benzer bir hata modeli sergiler, bu da sinir ağlarının yalnızca mükemmel modelleme yeteneklerine sahip olmadığını, aynı zamanda karmaşık insan davranışını simüle etmede de iyi performans gösterdiğini gösterir.
Çalışma, üstün kombinatoryal becerileri sayesinde, MLC'nin optimize edilmiş bir standart sinir ağının sistematik genellemede insan performansını taklit etmesini ve hatta aşmasını nasıl sağladığını ve böylece karşılaştırmalı olarak daha güçlü bir sistematizasyon gösterdiğini göstermektedir. MLC, standart yollarla eğitilmiş sinir ağlarından daha incelikli davranışlar sergiler. Buna ek olarak, MLC, sinir ağlarının, izole edilmiş ilkellerin sistematik kullanımı ve anlam çıkarmak için mutex kullanımı gibi bilinen diğer zorlukları ele almasını sağlar.
Umarım daha geniş bir sorunu çözer
**MLC ile elde edilen bazı başarılara rağmen, tüm zorlukları çözmüyor. Örneğin, MLC, meta-öğrenme dağılımının dışında, uygulanmamış genelleştirilmiş formlar veya kavramlarla otomatik olarak ilgilenemez. Ayrıca, optimize edilmemiş endüktif yanlılığına genelleme yapamaz.
Makine öğrenimi bağlamında, meta-öğrenme stratejileri, belirli bir test maddesi olay örgüsündeki araştırma örneklerine göre dağılım dışı olsa bile, genelleme yeni bölümleri eğitim grafiğine göre dağıttığında başarılı olur. Bununla birlikte, tek başına meta-öğrenmeye güvenmek, standart ağların meta-öğrenme sırasında sunulan bölümlere göre dağılım dışı bölümlere genelleme yapmasını sağlamaz. Mevcut mimariler ayrıca yeni semboller yaymak için bir mekanizmadan yoksundur, ancak çalışma örnekleri aracılığıyla tanıtılan yeni semboller ek bir işaretçi mekanizması aracılığıyla tanıtılabilir.
Son olarak, MLC, doğal dilin ve diğer yöntemlerin tüm karmaşıklığı üzerinde test edilmemiştir. Bu nedenle, her yönüyle ve gerçek eğitim deneyiminden insan benzeri bir sistematizasyon sağlayıp sağlayamayacağı henüz belirlenmemiştir.
Son olarak, yazarlar makalede şöyle diyorlar: "MLC'yi her alana uygulamak uzun vadeli bir çaba olsa da, insan kombinatoryal becerilerinin kökenlerini anlamada ve modern AI sistemlerinin daha insan benzeri davranmasını sağlamada gerçek bir umut görüyoruz." **"