Görüntü kaynağı: Sınırsız AI tarafından oluşturuldu
Son zamanlarda, LeCun da dahil olmak üzere bir grup büyük peruk, LLM'ye tekrar ateş etmeye başladı. En son atılım, LLM'nin hiç akıl yürütme yeteneğine sahip olmamasıdır!
LeCun'un görüşüne göre, akıl yürütme yeteneğinin eksiklikleri, LLM'nin neredeyse "ölü deliği" dir, ne kadar güçlü bilgi işlem gücü ve gelecekte LLM'yi eğitmek için ne kadar geniş ve yüksek kaliteli veri kümeleri kullanılırsa kullanılsın, bu sorunu çözemeyecektir.
LeCun tarafından atılan görüşler, xAI'nin kurucu ortaklarından biri olan Christian Szegedy de dahil olmak üzere birçok netizen ve yapay zeka kodamanını bu konuyu tartışmaya teşvik etti.
Yapay zeka bilimcisi Christian Szegedy, LeCun'a şu yanıtı verdi:
evrişimli ağlar daha sınırlı çıkarım yeteneklerine sahiptir, ancak bu AlphaZero'nun yeteneklerini etkilemez.
İki büyük adam arasındaki daha fazla tartışmadan, xAI'nin gelecekteki teknik yönüne bir göz atabiliriz: AI'nın akıl yürütme yeteneğinin üst sınırını aşmak için büyük modellerin yeteneğinin nasıl kullanılacağı.
Bu sorun altında, netizenler LLM akıl yürütme yeteneğine toleranslıdır ve ayrıca AI ile insan zekası arasındaki ilişki hakkında başka bir düşünce gösterir:
Tüm insanlar akıl yürütmede iyi değildir, bu yüzden bazı insanlar akıl yürütmede iyi olmadıkları için insan zekasının nesnelliğini inkar etmek zorunda mı?
Belki de insanlar, LLM gibi, sadece farklı bir "rastgele papağan" şeklidir!
Büyük adam diyaloğu xAI'nin teknik yönünü ortaya koyuyor
Makale arXiv'de yayınlandıktan sonra, özellikle LeCun tarafından iletildi ve bu da netizenler ve akademisyenler arasında kapsamlı tartışmalara neden oldu.
Boss Ma liderliğindeki xAI'nin kurucu ortağı olan yapay zeka bilimcisi Christian Szegedy şu yanıtı verdi:
evrişimli ağlar daha sınırlı çıkarım yeteneklerine sahiptir, ancak bu AlphaZero'nun yeteneklerini etkilemez.
Anahtar, akıl yürütme sürecinde ve yerleşik (RL) geri bildirim döngüsünde yatmaktadır. Model yeteneğinin son derece derin akıl yürütme yapabileceğine inanıyor. (örneğin matematiksel araştırma yapmak)
LeCun da doğrudan cevap verdi:
AlphaZero planlamayı "yürütür". Ancak MCTS ile yapıldığında, iyi davranış ortaya çıkarmak için evrişimli bir ağ kullanılır ve konumu değerlendirmek için başka bir evrişimli ağ kullanılır.
Ancak, ağacı keşfetmek için harcanan zaman sınırsız olabilir. Bu akıl yürütme ve planlamadır. Pekiştirmeli öğrenme, bu ağları eğitmek için kullanılır.
Christian Szegedy cevap vermeye devam etti:
katılıyorum. Bu yüzden yaklaşımın şu olduğunu düşünüyorum:
sistemi, bizimle ilgili olan akıl yürütme alanının çoğunu keşfetmeye zorlar.
Keşfetmek için doğrulanabilir hale getirin.
İlginç şeyler için insan zevkini anlayın.
Bana öyle geliyor ki, tüm bunlar hızla mümkün oldu.
Ve xAI Lianchuang'ın ağzından çıkan nokta, son cümleyle birleştiğinde: "Bence tüm bunlar yakında mümkün olacak", insanları düşündürmekten kendini alamıyor.
Ne de olsa, bu kadar kesin bir şekilde "uygulanabilir" demenin en doğrudan nedeni "zaten başardık" olabilir.
Belki de yakın gelecekte, xAI'nin LLM'nin zayıf akıl yürütme yeteneğinin "acı noktasını" yakaladığını, peşinden koştuğunu ve ChatGPT gibi piyasadaki büyük model ürünlerin en büyük kusurunu telafi ederek "güçlü akıl yürütmeye" sahip büyük bir model oluşturduğunu görebileceğiz.
LeCun: LLM'nin işe yaramadığını kaç kez söyledim! **
LeCun'un LLM'nin akıl yürütme yeteneğine ilişkin son çürütmesi, ASU Üniversitesi profesörü Subbarao Kambampati'nin son makalelerine dayanıyor.
Kişisel tanıtım:
Ona göre, birçok yetenekte insan seviyesine ulaştığını ve aştığını iddia eden LLM, akıl yürütme ve planlama yeteneğinde büyük eksikliklere sahiptir.
Bildiri Adresi:
Bildiri Adresi:
Bildiri Adresi:
İnsan uzman planlama akıl yürütme sorunları karşısında, GPT-4 yalnızca %12 doğrudur.
Ayrıca, çıkarım görevinde, LLM'nin kendi cevaplarını kendi kendine düzeltmesine izin verilirse, çıktı kalitesi artmayacak, azalacaktır.
Yani, LLM sadece doğru cevabı akıl yürütme yeteneğine sahip değildir, her şey sadece tahmin edilebilir.
Makale yayınlandıktan sonra profesör, makalenin netizenler ve akademisyenler tarafından tartışılması hakkındaki görüşlerini daha da detaylandırmak için uzun bir tweet gönderdi.
Profesör, LLM'leri mükemmel "fikir üreteçleri" olarak görüyor, ancak hem dilde hem de kodda, ancak kendi başlarına plan yapamıyor veya akıl yürütemiyorlar.
Profesör, LLM'nin kendi kendini düzeltme yeteneği hakkında birçok yanlış anlaşılma olduğuna dikkat çekti.
Bazı makalelerin yazarları, yanlışlıkla hata ürettiklerine ve kendilerini insanlar gibi düzelttiklerine inanarak LLM'leri abartıyorlar.
Öz değerlendirme ifadelerini geliştirmek ve değerlendirmek için gelişigüzel seçilmiş Soru-Cevap veri kümelerinin kullanılmasını eleştirdi ve bunun toplulukta kafa karışıklığı yarattığını savundu.
Profesör ayrıca dış doğrulama ve insan katılımının önemine dikkat çekti. GPT-4 renk yapılandırmalarını doğrulayamasa da, insanlar tarafından düzeltilmesi gereken ve harici bir doğrulayıcı olarak kullanılabilen Python kodunun oluşturulmasına yardımcı olabilir.
Aynı zamanda, insanlarla ve profesyonel akıl yürütücülerle işbirliği yapan modeller, modelin akıl yürütme yeteneğini geliştirmeye de yardımcı olacaktır.
Profesör, planlama alanı modellerinin LLM'den nasıl çıkarılacağını, insanların ve uzman akıl yürütücülerin yardımıyla nasıl optimize edileceğini ve bunları plan doğrulayıcılarında veya bağımsız alan planlayıcılarında nasıl kullanılacağını gösteren makaleleri listeledi.
LLM'nin doğrulama yeteneklerini daha da optimize etmek de önemlidir. LLM'nin doğrulama yeteneklerini belirli ince ayarlarla geliştirin ve bu LLM'nin aniden akıl yürütme veya doğrulamada daha iyi performans göstermesini sağlamasa da, kendi kendini düzeltme yeteneğinde küçük bir gelişme sağlar.
** LLM'nin "rastgele bir papağan" olduğunu söyleyin, insan değil mi? **
Bir netizen ayrıca LeCun'un Twitter'ı altında, aslında planlama ve akıl yürütmenin birçok insan için güçlü noktalar olmadığını ve bunun anlamının, büyük dil modelinin zeka seviyesinin inkar edilmemesi gerektiğini belirtti.
Glint ve Whip adlı iki çalışan sosyal platform kuran bir seri girişimci olan Goutham Kurra, kısa süre önce LLM'nin arkasındaki yetenekler ve insan zekası arasında temel bir fark olmadığını savunan "Hepimiz rastgele papağanız" adlı uzun bir blog yayınladı.
Makale Linkleri:
İnsanlar oturup meditasyon yaparlarsa, fikir ürettikleri mekanizmaların nasıl çalıştığını fark etmezler ve insanlar düşüncelerinin doğası üzerinde bilinçli bir kontrole sahip olmazlar.
Bir kişinin sıcak bir günde yürüyüşe çıktığını ve terlediğini varsayalım. Bu onu iklim değişikliği hakkında düşünmeye yönlendirir ve bu da düşüncelerinde biraz kafa karışıklığına neden olur.
Düşüncelerini daha keyifli bir konuya, bilinçli kontrol gibi hissettiren bir sürece kaydırmaya karar verir, ancak hangi konu hakkında düşünmeyi seçmelidir?
Belki de insan beyni, düşünmesi için görev bilinciyle birkaç seçenek ortaya çıkaracaktır: belki akşamın ilerleyen saatlerinde oynanacak bir oyun ya da bu hafta sonu katılacak bir konser düşünün.
Peki bu yeni seçenekler nereden geliyor? Beyniniz bunları patlatmaya nasıl karar verdi? İnsanlar numaralandırma işlemi için tüm olası seçeneklerin bilinçli olarak farkında mı?
Yürüyüşüne devam edip bunları düşünürken, göz ucuyla ağaca doğru koşan bir sincap fark etti ve gür kuyruğuna şaşırdı.
Bu sırada, insanoğlunun "akıllı düşüncesi" tekrar ortadan kayboldu ve rastgele bir papağan gibi otomatik olarak düşünmeye başladı mı?
Düşüncelerimizin gerçekte nasıl oluştuğu hakkında çok az şey bildiğimizi fark ettiğimizde, soru şudur: Fikirlerin bilinçsiz kökeni ne kadar rastgeledir?
Aynı zamanda bir tür "rastgele papağan" değil mi? Anlatı oluşturma mekanizmamız LLM'ye ne kadar benziyor?
The Economist'e göre "muhtemelen hiç duymadığınız en iyi çağdaş romancı" olan İtalyan yazar Elena Ferrante'yi ele alalım.
My Genius Girlfriend serisi 40 ülkede 11 milyondan fazla kopya sattı ve eleştirmenler "Kadın arkadaşlığı hiç bu kadar canlı bir şekilde sunulmamıştı" dedi.
"In the Margins" adlı anı kitabı, II. Dünya Savaşı'ndan sonra İtalya'da yetişmesini anlatıyor.
Zamanının diğer kadın yazarları gibi o da erkek edebiyat geleneğinin içine doğmuş ve daha çok erkek yazarların eserlerini okumuş, bu yüzden yazmak için erkek yazarları taklit etmeye başlamıştır.
Otobiyografisinde şunları yazdı:
On üç yaşımdayken bile... Yazma seviyemin fena olmadığını hissediyorum ve her zaman bir erkek sesi bana ne yazacağımı ve nasıl yazacağımı söylüyormuş gibi hissediyorum.
sesin benim yaşımda mı yoksa benden büyük mü olduğunu bile bilmiyordum, belki de zaten yaşlı bir adamdı. ...... Kendimi erkek olarak hayal ettim, ama aynı zamanda hala kadın.
İnsanlığın büyük bir çağdaş yazarı olan otobiyografisinde, modern İtalyan edebiyatının eşsiz ve enerjik sesiyle, "rastgele papağan" durumundan kaçmak için verdiği mücadeleleri ve mücadeleleri samimi bir şekilde anlatıyor.
Çünkü onun kendine özgü dili ve fikirleri, yüzlerce yıl içinde oluşan erkek egemen edebi kanon tarafından farkında olmadan şekillendirilmiştir.
Kendimize gerçekten bakarsak, aklımıza gelen düşüncelerin çoğu diğer insanların sesleridir: ebeveynlerimizin ve öğretmenlerimizin sesleri.
Okuduğumuz kitaplar, izlediğimiz televizyonlar ve zihinlerimiz çok derin ve yapışkan bir kültür üzerine kuruludur.
Konuşma, düşünme ve ifade etme yeteneğimiz, okuduklarımızın bir işlevidir ve geçmişten gelen kelimeler geleceği etkiler.
Esasen atalarımızla aynı hayatı yaşıyoruz, dünün aynı düşüncelerinin çoğunu tekrarlıyoruz, herkesle aynı kelimeleri yazıyoruz, çok az farkla.
Hollywood filmlerine bakarsanız ve birkaç kitap okursanız, birçok hikayenin neredeyse aynı olduğunu, ancak arka planın farklı olduğunu göreceksiniz.
Arada sırada insanlar papağanlığın prangalarından kurtulabiliyor gibi görünüyor, biraz orijinal fikir diyor, biraz orijinal fikir düşünüyor.
Bu küçük orijinal içerikle kültürümüz büyük bir sıçrama yaptı.
Kaynaklar:
_source=profil&utm_medium=okuyucu2
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
LeCun ve xAI birlikte yaratma boğuluyor, GPT-4 ana akıl yürütme kusurlarının çözümü yok mu? Netizen: İnsanlar da "rastgele papağanlar"
Orijinal kaynak: Shin Ji Yuan
Son zamanlarda, LeCun da dahil olmak üzere bir grup büyük peruk, LLM'ye tekrar ateş etmeye başladı. En son atılım, LLM'nin hiç akıl yürütme yeteneğine sahip olmamasıdır!
İki büyük adam arasındaki daha fazla tartışmadan, xAI'nin gelecekteki teknik yönüne bir göz atabiliriz: AI'nın akıl yürütme yeteneğinin üst sınırını aşmak için büyük modellerin yeteneğinin nasıl kullanılacağı.
Bu sorun altında, netizenler LLM akıl yürütme yeteneğine toleranslıdır ve ayrıca AI ile insan zekası arasındaki ilişki hakkında başka bir düşünce gösterir:
Tüm insanlar akıl yürütmede iyi değildir, bu yüzden bazı insanlar akıl yürütmede iyi olmadıkları için insan zekasının nesnelliğini inkar etmek zorunda mı?
Belki de insanlar, LLM gibi, sadece farklı bir "rastgele papağan" şeklidir!
Büyük adam diyaloğu xAI'nin teknik yönünü ortaya koyuyor
Makale arXiv'de yayınlandıktan sonra, özellikle LeCun tarafından iletildi ve bu da netizenler ve akademisyenler arasında kapsamlı tartışmalara neden oldu.
Boss Ma liderliğindeki xAI'nin kurucu ortağı olan yapay zeka bilimcisi Christian Szegedy şu yanıtı verdi:
Ve xAI Lianchuang'ın ağzından çıkan nokta, son cümleyle birleştiğinde: "Bence tüm bunlar yakında mümkün olacak", insanları düşündürmekten kendini alamıyor.
Ne de olsa, bu kadar kesin bir şekilde "uygulanabilir" demenin en doğrudan nedeni "zaten başardık" olabilir.
LeCun: LLM'nin işe yaramadığını kaç kez söyledim! **
LeCun'un LLM'nin akıl yürütme yeteneğine ilişkin son çürütmesi, ASU Üniversitesi profesörü Subbarao Kambampati'nin son makalelerine dayanıyor.
Ona göre, birçok yetenekte insan seviyesine ulaştığını ve aştığını iddia eden LLM, akıl yürütme ve planlama yeteneğinde büyük eksikliklere sahiptir.
İnsan uzman planlama akıl yürütme sorunları karşısında, GPT-4 yalnızca %12 doğrudur.
Ayrıca, çıkarım görevinde, LLM'nin kendi cevaplarını kendi kendine düzeltmesine izin verilirse, çıktı kalitesi artmayacak, azalacaktır.
Yani, LLM sadece doğru cevabı akıl yürütme yeteneğine sahip değildir, her şey sadece tahmin edilebilir.
Makale yayınlandıktan sonra profesör, makalenin netizenler ve akademisyenler tarafından tartışılması hakkındaki görüşlerini daha da detaylandırmak için uzun bir tweet gönderdi.
Profesör, LLM'nin kendi kendini düzeltme yeteneği hakkında birçok yanlış anlaşılma olduğuna dikkat çekti.
Bazı makalelerin yazarları, yanlışlıkla hata ürettiklerine ve kendilerini insanlar gibi düzelttiklerine inanarak LLM'leri abartıyorlar.
Öz değerlendirme ifadelerini geliştirmek ve değerlendirmek için gelişigüzel seçilmiş Soru-Cevap veri kümelerinin kullanılmasını eleştirdi ve bunun toplulukta kafa karışıklığı yarattığını savundu.
Profesör ayrıca dış doğrulama ve insan katılımının önemine dikkat çekti. GPT-4 renk yapılandırmalarını doğrulayamasa da, insanlar tarafından düzeltilmesi gereken ve harici bir doğrulayıcı olarak kullanılabilen Python kodunun oluşturulmasına yardımcı olabilir.
Aynı zamanda, insanlarla ve profesyonel akıl yürütücülerle işbirliği yapan modeller, modelin akıl yürütme yeteneğini geliştirmeye de yardımcı olacaktır.
Profesör, planlama alanı modellerinin LLM'den nasıl çıkarılacağını, insanların ve uzman akıl yürütücülerin yardımıyla nasıl optimize edileceğini ve bunları plan doğrulayıcılarında veya bağımsız alan planlayıcılarında nasıl kullanılacağını gösteren makaleleri listeledi.
LLM'nin doğrulama yeteneklerini daha da optimize etmek de önemlidir. LLM'nin doğrulama yeteneklerini belirli ince ayarlarla geliştirin ve bu LLM'nin aniden akıl yürütme veya doğrulamada daha iyi performans göstermesini sağlamasa da, kendi kendini düzeltme yeteneğinde küçük bir gelişme sağlar.
** LLM'nin "rastgele bir papağan" olduğunu söyleyin, insan değil mi? **
Bir netizen ayrıca LeCun'un Twitter'ı altında, aslında planlama ve akıl yürütmenin birçok insan için güçlü noktalar olmadığını ve bunun anlamının, büyük dil modelinin zeka seviyesinin inkar edilmemesi gerektiğini belirtti.
İnsanlar oturup meditasyon yaparlarsa, fikir ürettikleri mekanizmaların nasıl çalıştığını fark etmezler ve insanlar düşüncelerinin doğası üzerinde bilinçli bir kontrole sahip olmazlar.
Bir kişinin sıcak bir günde yürüyüşe çıktığını ve terlediğini varsayalım. Bu onu iklim değişikliği hakkında düşünmeye yönlendirir ve bu da düşüncelerinde biraz kafa karışıklığına neden olur.
Düşüncelerini daha keyifli bir konuya, bilinçli kontrol gibi hissettiren bir sürece kaydırmaya karar verir, ancak hangi konu hakkında düşünmeyi seçmelidir?
Belki de insan beyni, düşünmesi için görev bilinciyle birkaç seçenek ortaya çıkaracaktır: belki akşamın ilerleyen saatlerinde oynanacak bir oyun ya da bu hafta sonu katılacak bir konser düşünün.
Yürüyüşüne devam edip bunları düşünürken, göz ucuyla ağaca doğru koşan bir sincap fark etti ve gür kuyruğuna şaşırdı.
Bu sırada, insanoğlunun "akıllı düşüncesi" tekrar ortadan kayboldu ve rastgele bir papağan gibi otomatik olarak düşünmeye başladı mı?
Düşüncelerimizin gerçekte nasıl oluştuğu hakkında çok az şey bildiğimizi fark ettiğimizde, soru şudur: Fikirlerin bilinçsiz kökeni ne kadar rastgeledir?
Aynı zamanda bir tür "rastgele papağan" değil mi? Anlatı oluşturma mekanizmamız LLM'ye ne kadar benziyor?
The Economist'e göre "muhtemelen hiç duymadığınız en iyi çağdaş romancı" olan İtalyan yazar Elena Ferrante'yi ele alalım.
"In the Margins" adlı anı kitabı, II. Dünya Savaşı'ndan sonra İtalya'da yetişmesini anlatıyor.
Zamanının diğer kadın yazarları gibi o da erkek edebiyat geleneğinin içine doğmuş ve daha çok erkek yazarların eserlerini okumuş, bu yüzden yazmak için erkek yazarları taklit etmeye başlamıştır.
Otobiyografisinde şunları yazdı:
İnsanlığın büyük bir çağdaş yazarı olan otobiyografisinde, modern İtalyan edebiyatının eşsiz ve enerjik sesiyle, "rastgele papağan" durumundan kaçmak için verdiği mücadeleleri ve mücadeleleri samimi bir şekilde anlatıyor.
Çünkü onun kendine özgü dili ve fikirleri, yüzlerce yıl içinde oluşan erkek egemen edebi kanon tarafından farkında olmadan şekillendirilmiştir.
Kendimize gerçekten bakarsak, aklımıza gelen düşüncelerin çoğu diğer insanların sesleridir: ebeveynlerimizin ve öğretmenlerimizin sesleri.
Okuduğumuz kitaplar, izlediğimiz televizyonlar ve zihinlerimiz çok derin ve yapışkan bir kültür üzerine kuruludur.
Konuşma, düşünme ve ifade etme yeteneğimiz, okuduklarımızın bir işlevidir ve geçmişten gelen kelimeler geleceği etkiler.
Esasen atalarımızla aynı hayatı yaşıyoruz, dünün aynı düşüncelerinin çoğunu tekrarlıyoruz, herkesle aynı kelimeleri yazıyoruz, çok az farkla.
Hollywood filmlerine bakarsanız ve birkaç kitap okursanız, birçok hikayenin neredeyse aynı olduğunu, ancak arka planın farklı olduğunu göreceksiniz.
Arada sırada insanlar papağanlığın prangalarından kurtulabiliyor gibi görünüyor, biraz orijinal fikir diyor, biraz orijinal fikir düşünüyor.
Bu küçük orijinal içerikle kültürümüz büyük bir sıçrama yaptı.
Kaynaklar:
_source=profil&utm_medium=okuyucu2