Bazı insanlar OpenAI'ye katıldı, bazıları yeni şirketler kurdu ve bazıları Google AI'a bağlı kaldı. Bugünün AI geliştirme çağını ortaklaşa başlatanlar onlardı.
ChatGPT'den AI çizim teknolojisine, yapay zeka alanındaki son atılım dalgası Transformer sayesinde olabilir.
Bugün ünlü Transformer kağıdının sunulmasının altıncı yıl dönümü.
Kağıt bağlantısı:
Altı yıl önce abartılı isimli bir kağıt hazır basılı kağıt platformu arXiv'e yüklenmiş, "xx is All You Need" ifadesi yapay zeka alanındaki geliştiriciler tarafından tekrar edilmiş ve hatta başlığında trend haline gelmiştir. kağıt. ve Transformer artık Transformers'ın anlamı değil, artık yapay zeka alanındaki en ileri teknolojiyi temsil ediyor.
Altı yıl sonra, o yılki bu makaleye dönüp baktığımızda, Nvidia'da bir yapay zeka bilimcisi olan Jim Fan'ın özetlediği gibi, pek çok ilginç veya az bilinen yer bulabiliriz.
## ** "Dikkat Mekanizması", Transformer'ın yazarı tarafından önerilmemiştir**
Transformer modeli, geleneksel CNN ve RNN birimlerini terk eder ve tüm ağ yapısı tamamen dikkat mekanizmalarından oluşur.
Transformer kağıdının adı "Attention is All You Need" olmasına rağmen, dikkat mekanizmasını bu nedenle tanıtmaya devam ediyoruz, ancak lütfen ilginç bir gerçeğe dikkat edin: Dikkati icat edenler Transformer araştırmacıları değil, ama bunu koydular. mekanizma en uç noktaya kadar itilir.
Dikkat Mekanizması, 2014 yılında derin öğrenme öncüsü Yoshua Bengio liderliğindeki bir ekip tarafından önerildi:
Bu ICLR 2015 belgesinde, Bengio ve diğerleri, RNN + "bağlam vektörü"nün (yani dikkatin) bir kombinasyonunu önermiştir. NLP'deki en büyük dönüm noktalarından biri olsa da, Bengio'nun ekibinin makalesine bugüne kadar 29.000 kez ve Transformer'ın 77.000 kez atıfta bulunulmasıyla Transformer'dan çok daha az bilinir.
AI'nın dikkat mekanizması doğal olarak insanın görsel dikkatine göre modellenmiştir. İnsan beyninde doğuştan gelen bir yetenek vardır: Bir resme baktığımızda, önce hızlıca resmi tarar, sonra odaklanılması gereken hedef alanı kilitleriz.
Herhangi bir yerel bilgiyi bırakmazsanız, kaçınılmaz olarak hayatta kalmaya elverişli olmayan pek çok işe yaramaz iş yapacaksınız. Benzer şekilde, derin öğrenme ağlarında benzer mekanizmaların kullanılması modelleri basitleştirebilir ve hesaplamayı hızlandırabilir. Özünde Dikkat, büyük miktardaki bilgiden küçük miktardaki önemli bilgiyi süzmek ve önemsiz bilgilerin çoğunu göz ardı ederek bu önemli bilgilere odaklanmaktır.
Son yıllarda, dikkat mekanizması, görüntülerdeki alıcı alanları yakalamak için bilgisayar görüşü veya anahtar belirteçleri veya özellikleri bulmak için NLP gibi derin öğrenmenin çeşitli alanlarında yaygın olarak kullanılmaktadır. Çok sayıda deney, dikkat mekanizmalı modelin görüntü sınıflandırma, segmentasyon, izleme, geliştirme ve doğal dil tanıma, anlama, soru cevaplama ve çeviri gibi görevlerde önemli performans iyileştirmeleri sağladığını kanıtlamıştır.
Dikkat mekanizmasını tanıtan Transformer modeli, genel amaçlı bir sıra bilgisayarı olarak kabul edilebilir.Dikkat mekanizması, modelin giriş sırasını işlerken sıradaki farklı konumların korelasyonuna göre farklı dikkat ağırlıkları atamasına olanak tanır. uzun mesafeli bağımlılıkları ve bağlam bilgilerini yakalayın, böylece dizi işlemenin etkisini iyileştirin.
Ancak o yıl, ne Transformer ne de orijinal dikkat belgesi genel amaçlı bir sıralı bilgisayardan bahsetmiyordu. Bunun yerine, yazarlar bunu dar ve özel bir sorunu çözmek için bir mekanizma olarak görüyorlar - makine çevirisi. Dolayısıyla, gelecekte AGI'nin kökeninin izini sürdüğümüzde, "göze çarpmayan" Google Çeviri'ye kadar izini sürebiliriz.
NeurIPS 2017 tarafından kabul edilmesine rağmen Oral bile almadı
Transformer'ın makalesi şu anda çok etkili olmasına rağmen, dünyanın en iyi yapay zeka konferansı NeurIPS 2017'de bırakın ödülü, Oral bile almadı. Konferansa o yıl toplam 3.240 bildiri sunuldu, bunların 678'i konferans bildirisi olarak seçildi.Transformer makalesi kabul edilen bildirilerden biriydi.Bu bildiriler arasında 40 Sözlü bildiri, 112 Spotlight bildirisi ve 3'ü en iyisiydi. Kağıtlar, bir Zaman Testi ödülü, Transformer ödülü kaçırdı.
NeurIPS 2017 kağıt ödülünü kaçırmış olsa da, Transformer'ın etkisi herkes için açıktır.
Jim Fan şu yorumu yaptı: Etkili bir çalışmanın etkili olmadan önce önemini fark etmenin insanlar için zor olması jürinin suçu değil. Ancak, ilk etapta keşfedilecek kadar şanslı olan makaleler de vardır.Örneğin, He Kaiming ve diğerleri tarafından önerilen ResNet, o yıl CVPR 2016'nın en iyi makalesini kazandı.Bu araştırma hak edilmiş ve haklı olarak kabul edilmiştir. AI Zirvesi. Ancak şu anda 2017'de çok akıllı araştırmacılar LLM'nin getirdiği değişiklikleri şimdi tahmin edemeyebilir.Tıpkı 1980'lerde olduğu gibi, 2012'den beri derin öğrenmenin getirdiği tsunamiyi çok az kişi öngörebiliyordu.
## Sekiz yazar, hayatları harika
O zamanlar bu makalenin 8 yazarı vardı, bunlar Google ve Toronto Üniversitesi'ndendi.Beş yıl sonra, makalenin yazarlarının çoğu orijinal kurumdan ayrıldı.
26 Nisan 2022'de, aralarında Transformer gazetesinin iki yazarı Ashish Vaswani ve Niki Parmar'ın da bulunduğu 9 kurucu ortakla "Adept" adlı bir şirket resmen kuruldu.
Ashish Vaswani, Çinli akademisyenler David Chiang ve Liang Huang'ın vesayeti altında Güney Kaliforniya Üniversitesi'nden doktora derecesi aldı ve esas olarak dil modellemede modern derin öğrenmenin ilk uygulamalarını araştırdı. 2016'da Google Brain'e katıldı ve Transformer araştırmasına liderlik etti ve 2021'de Google'dan ayrıldı.
Niki Parmar Güney Kaliforniya Üniversitesi'nden yüksek lisans derecesi ile mezun oldu ve 2016 yılında Google'a katıldı. Çalışması sırasında, Google arama ve reklamcılığı için bazı başarılı soru yanıtlama ve metin benzerliği modelleri geliştirdi. Transformer modelini görüntü oluşturma, bilgisayar görüşü ve daha fazlasına genişletme konusundaki erken çalışmalara öncülük etti. 2021'de Google'dan da ayrılacak.
Ayrıldıktan sonra ikisi Adept'i kurdu ve sırasıyla Baş Bilim İnsanı (Ashish Vaswani) ve Baş Teknoloji Sorumlusu (Niki Parmar) olarak görev yaptı. Adept'in vizyonu, çeşitli farklı yazılım araçlarını ve API'leri kullanmak üzere eğitilmiş "yapay zeka takım arkadaşı" adı verilen bir yapay zeka oluşturmaktır.
Mart 2023'te Adept, 350 milyon ABD Doları tutarında bir B Serisi finansman turunun tamamlandığını duyurdu.Şirketin değeri 1 milyar ABD Dolarını aştı ve tek boynuzlu ata terfi etti. Ancak, Adept kamu finansmanını artırdığında, Niki Parmar ve Ashish Vaswani kendi yeni AI girişimlerini başlatmak için Adept'ten ayrıldı. Ancak, yeni şirket şu anda gizli tutuluyor ve şirketin ayrıntılarına erişimimiz yok.
Başka bir makale yazarı olan Noam Shazeer, Google'ın en önemli ilk çalışanlarından biriydi. 2000 yılının sonunda, nihayet 2021'de ayrılana kadar Google'a katıldı ve ardından "Character.AI" adlı yeni kurulmuş bir şirketin CEO'su oldu.
Character.AI'nin kurucusu Noam Shazeer'e ek olarak, ikisi de Google'ın LaMDA ekibinden olan Daniel De Freitas var. Daha önce, Google'da konuşma programlarını destekleyen bir dil modeli olan LaMDA'yı oluşturdular.
Bu yılın Mart ayında 1 milyar ABD doları değerleme ile 150 milyon ABD doları finansmanın tamamlandığını açıklayan Character.AI, ajans OpenAI ile rekabet etme potansiyeline sahip birkaç start-up şirketinden biridir. ChatGPT ve sadece 16 ayda büyümek de nadirdir.Tek boynuzlu at şirketleri için. Karakter.AI uygulaması, insan benzeri metin yanıtları oluşturabilen ve bağlamsal konuşmalara katılabilen bir nöral dil modeli sohbet robotudur.
Character.AI, ilk haftasında 1,7 milyondan fazla indirmeyle 23 Mayıs 2023'te Apple App Store ve Google Play Store'da kullanıma sunuldu. Mayıs 2023'te hizmet, diğer avantajların yanı sıra kullanıcılara öncelikli sohbet erişimi, daha hızlı yanıt süreleri ve yeni özelliklere erken erişim sağlayan c.ai+ adlı aylık 9,99 ABD doları tutarında ücretli bir abonelik ekledi.
Aidan N. Gomez, 2019 gibi erken bir tarihte Google'dan ayrıldı, ardından FOR.ai'de araştırmacı olarak çalıştı ve şu anda Cohere'in kurucu ortağı ve CEO'su.
Cohere, 2019'da kurulmuş üretken bir yapay zeka girişimidir. Temel faaliyet alanı, NLP modelleri sağlamak ve şirketlerin insan-bilgisayar etkileşimini geliştirmesine yardımcı olmaktır. Üç kurucu, Gomez ve Frosst'un Google Brain ekibinin eski üyeleri olduğu Ivan Zhang, Nick Frosst ve Aidan Gomez'dir. Kasım 2021'de Google Cloud, Cohere ile iş birliği yapacaklarını, Google Cloud'un Cohere platformuna güç sağlamak için güçlü altyapısını kullanacağını ve Cohere'in ürünlerini geliştirmek ve dağıtmak için Cloud'un TPU'sunu kullanacağını duyurdu.
Özellikle Cohere, C Serisi fonlamada 270 milyon dolar topladı ve onu 2,2 milyar dolarlık bir tek boynuzlu at yaptı.
Łukasz Kaiser, 2021'de Google'dan ayrıldı, Google'da 7 yıl 9 ay çalıştı ve şu anda OpenAI'de araştırmacı. Google'da araştırma bilimcisi olarak çalıştığı süre boyunca, makine çevirisi, ayrıştırma ve diğer algoritmik ve üretken görevler için SOTA sinir modellerinin tasarımına katıldı ve TensorFlow sistemi, Tensor2Tensor kitaplığının ortak yazarıydı.
Jakob Uszkoreit, 2021'de Google'dan ayrıldı ve Inception'a kurucu ortak olarak katılmadan önce 13 yıl Google'da çalıştı. Inception, kendini RNA ilaçlarını tasarlamak için derin öğrenmeyi kullanmaya adamış bir yapay zeka ilaç şirketidir.
Jakob Uszkoreit, Google'dayken Google Asistan için dil anlama ekibinin oluşturulmasına yardımcı oldu ve erken dönemlerde Google Çeviri üzerinde çalıştı.
Illia Polosukhin 2017'de Google'dan ayrıldı ve şu anda NEAR.AI'nin (bir blockchain temel teknoloji şirketi) kurucu ortağı ve CTO'su.
Hâlâ Google'da çalışan tek kişi Llion Jones, bu yıl Google'da çalıştığı 9. yılı.
Şimdi, "Atention Is All You Need" makalesinin yayınlanmasının üzerinden 6 yıl geçti. Orijinal yazarlardan bazıları ayrılmayı, bazıları Google'da kalmayı seçti. Her halükarda Transformer'ın etkisi devam ediyor.
View Original
The content is for reference only, not a solicitation or offer. No investment, tax, or legal advice provided. See Disclaimer for more risks disclosure.
Transformer'ın altıncı yıl dönümü: NeurIPS Oral bile alınamadı ve 8 yazar birkaç AI tek boynuzlu at kurdu
Bugün ünlü Transformer kağıdının sunulmasının altıncı yıl dönümü.
Altı yıl önce abartılı isimli bir kağıt hazır basılı kağıt platformu arXiv'e yüklenmiş, "xx is All You Need" ifadesi yapay zeka alanındaki geliştiriciler tarafından tekrar edilmiş ve hatta başlığında trend haline gelmiştir. kağıt. ve Transformer artık Transformers'ın anlamı değil, artık yapay zeka alanındaki en ileri teknolojiyi temsil ediyor.
Altı yıl sonra, o yılki bu makaleye dönüp baktığımızda, Nvidia'da bir yapay zeka bilimcisi olan Jim Fan'ın özetlediği gibi, pek çok ilginç veya az bilinen yer bulabiliriz.
Transformer modeli, geleneksel CNN ve RNN birimlerini terk eder ve tüm ağ yapısı tamamen dikkat mekanizmalarından oluşur.
Transformer kağıdının adı "Attention is All You Need" olmasına rağmen, dikkat mekanizmasını bu nedenle tanıtmaya devam ediyoruz, ancak lütfen ilginç bir gerçeğe dikkat edin: Dikkati icat edenler Transformer araştırmacıları değil, ama bunu koydular. mekanizma en uç noktaya kadar itilir.
Dikkat Mekanizması, 2014 yılında derin öğrenme öncüsü Yoshua Bengio liderliğindeki bir ekip tarafından önerildi:
Bu ICLR 2015 belgesinde, Bengio ve diğerleri, RNN + "bağlam vektörü"nün (yani dikkatin) bir kombinasyonunu önermiştir. NLP'deki en büyük dönüm noktalarından biri olsa da, Bengio'nun ekibinin makalesine bugüne kadar 29.000 kez ve Transformer'ın 77.000 kez atıfta bulunulmasıyla Transformer'dan çok daha az bilinir.
Herhangi bir yerel bilgiyi bırakmazsanız, kaçınılmaz olarak hayatta kalmaya elverişli olmayan pek çok işe yaramaz iş yapacaksınız. Benzer şekilde, derin öğrenme ağlarında benzer mekanizmaların kullanılması modelleri basitleştirebilir ve hesaplamayı hızlandırabilir. Özünde Dikkat, büyük miktardaki bilgiden küçük miktardaki önemli bilgiyi süzmek ve önemsiz bilgilerin çoğunu göz ardı ederek bu önemli bilgilere odaklanmaktır.
Son yıllarda, dikkat mekanizması, görüntülerdeki alıcı alanları yakalamak için bilgisayar görüşü veya anahtar belirteçleri veya özellikleri bulmak için NLP gibi derin öğrenmenin çeşitli alanlarında yaygın olarak kullanılmaktadır. Çok sayıda deney, dikkat mekanizmalı modelin görüntü sınıflandırma, segmentasyon, izleme, geliştirme ve doğal dil tanıma, anlama, soru cevaplama ve çeviri gibi görevlerde önemli performans iyileştirmeleri sağladığını kanıtlamıştır.
Dikkat mekanizmasını tanıtan Transformer modeli, genel amaçlı bir sıra bilgisayarı olarak kabul edilebilir.Dikkat mekanizması, modelin giriş sırasını işlerken sıradaki farklı konumların korelasyonuna göre farklı dikkat ağırlıkları atamasına olanak tanır. uzun mesafeli bağımlılıkları ve bağlam bilgilerini yakalayın, böylece dizi işlemenin etkisini iyileştirin.
Ancak o yıl, ne Transformer ne de orijinal dikkat belgesi genel amaçlı bir sıralı bilgisayardan bahsetmiyordu. Bunun yerine, yazarlar bunu dar ve özel bir sorunu çözmek için bir mekanizma olarak görüyorlar - makine çevirisi. Dolayısıyla, gelecekte AGI'nin kökeninin izini sürdüğümüzde, "göze çarpmayan" Google Çeviri'ye kadar izini sürebiliriz.
NeurIPS 2017 tarafından kabul edilmesine rağmen Oral bile almadı
Transformer'ın makalesi şu anda çok etkili olmasına rağmen, dünyanın en iyi yapay zeka konferansı NeurIPS 2017'de bırakın ödülü, Oral bile almadı. Konferansa o yıl toplam 3.240 bildiri sunuldu, bunların 678'i konferans bildirisi olarak seçildi.Transformer makalesi kabul edilen bildirilerden biriydi.Bu bildiriler arasında 40 Sözlü bildiri, 112 Spotlight bildirisi ve 3'ü en iyisiydi. Kağıtlar, bir Zaman Testi ödülü, Transformer ödülü kaçırdı.
NeurIPS 2017 kağıt ödülünü kaçırmış olsa da, Transformer'ın etkisi herkes için açıktır.
Jim Fan şu yorumu yaptı: Etkili bir çalışmanın etkili olmadan önce önemini fark etmenin insanlar için zor olması jürinin suçu değil. Ancak, ilk etapta keşfedilecek kadar şanslı olan makaleler de vardır.Örneğin, He Kaiming ve diğerleri tarafından önerilen ResNet, o yıl CVPR 2016'nın en iyi makalesini kazandı.Bu araştırma hak edilmiş ve haklı olarak kabul edilmiştir. AI Zirvesi. Ancak şu anda 2017'de çok akıllı araştırmacılar LLM'nin getirdiği değişiklikleri şimdi tahmin edemeyebilir.Tıpkı 1980'lerde olduğu gibi, 2012'den beri derin öğrenmenin getirdiği tsunamiyi çok az kişi öngörebiliyordu.
O zamanlar bu makalenin 8 yazarı vardı, bunlar Google ve Toronto Üniversitesi'ndendi.Beş yıl sonra, makalenin yazarlarının çoğu orijinal kurumdan ayrıldı.
26 Nisan 2022'de, aralarında Transformer gazetesinin iki yazarı Ashish Vaswani ve Niki Parmar'ın da bulunduğu 9 kurucu ortakla "Adept" adlı bir şirket resmen kuruldu.
Niki Parmar Güney Kaliforniya Üniversitesi'nden yüksek lisans derecesi ile mezun oldu ve 2016 yılında Google'a katıldı. Çalışması sırasında, Google arama ve reklamcılığı için bazı başarılı soru yanıtlama ve metin benzerliği modelleri geliştirdi. Transformer modelini görüntü oluşturma, bilgisayar görüşü ve daha fazlasına genişletme konusundaki erken çalışmalara öncülük etti. 2021'de Google'dan da ayrılacak.
Ayrıldıktan sonra ikisi Adept'i kurdu ve sırasıyla Baş Bilim İnsanı (Ashish Vaswani) ve Baş Teknoloji Sorumlusu (Niki Parmar) olarak görev yaptı. Adept'in vizyonu, çeşitli farklı yazılım araçlarını ve API'leri kullanmak üzere eğitilmiş "yapay zeka takım arkadaşı" adı verilen bir yapay zeka oluşturmaktır.
Mart 2023'te Adept, 350 milyon ABD Doları tutarında bir B Serisi finansman turunun tamamlandığını duyurdu.Şirketin değeri 1 milyar ABD Dolarını aştı ve tek boynuzlu ata terfi etti. Ancak, Adept kamu finansmanını artırdığında, Niki Parmar ve Ashish Vaswani kendi yeni AI girişimlerini başlatmak için Adept'ten ayrıldı. Ancak, yeni şirket şu anda gizli tutuluyor ve şirketin ayrıntılarına erişimimiz yok.
Başka bir makale yazarı olan Noam Shazeer, Google'ın en önemli ilk çalışanlarından biriydi. 2000 yılının sonunda, nihayet 2021'de ayrılana kadar Google'a katıldı ve ardından "Character.AI" adlı yeni kurulmuş bir şirketin CEO'su oldu.
Character.AI'nin kurucusu Noam Shazeer'e ek olarak, ikisi de Google'ın LaMDA ekibinden olan Daniel De Freitas var. Daha önce, Google'da konuşma programlarını destekleyen bir dil modeli olan LaMDA'yı oluşturdular.
Bu yılın Mart ayında 1 milyar ABD doları değerleme ile 150 milyon ABD doları finansmanın tamamlandığını açıklayan Character.AI, ajans OpenAI ile rekabet etme potansiyeline sahip birkaç start-up şirketinden biridir. ChatGPT ve sadece 16 ayda büyümek de nadirdir.Tek boynuzlu at şirketleri için. Karakter.AI uygulaması, insan benzeri metin yanıtları oluşturabilen ve bağlamsal konuşmalara katılabilen bir nöral dil modeli sohbet robotudur.
Character.AI, ilk haftasında 1,7 milyondan fazla indirmeyle 23 Mayıs 2023'te Apple App Store ve Google Play Store'da kullanıma sunuldu. Mayıs 2023'te hizmet, diğer avantajların yanı sıra kullanıcılara öncelikli sohbet erişimi, daha hızlı yanıt süreleri ve yeni özelliklere erken erişim sağlayan c.ai+ adlı aylık 9,99 ABD doları tutarında ücretli bir abonelik ekledi.
Cohere, 2019'da kurulmuş üretken bir yapay zeka girişimidir. Temel faaliyet alanı, NLP modelleri sağlamak ve şirketlerin insan-bilgisayar etkileşimini geliştirmesine yardımcı olmaktır. Üç kurucu, Gomez ve Frosst'un Google Brain ekibinin eski üyeleri olduğu Ivan Zhang, Nick Frosst ve Aidan Gomez'dir. Kasım 2021'de Google Cloud, Cohere ile iş birliği yapacaklarını, Google Cloud'un Cohere platformuna güç sağlamak için güçlü altyapısını kullanacağını ve Cohere'in ürünlerini geliştirmek ve dağıtmak için Cloud'un TPU'sunu kullanacağını duyurdu.
Özellikle Cohere, C Serisi fonlamada 270 milyon dolar topladı ve onu 2,2 milyar dolarlık bir tek boynuzlu at yaptı.
Jakob Uszkoreit, Google'dayken Google Asistan için dil anlama ekibinin oluşturulmasına yardımcı oldu ve erken dönemlerde Google Çeviri üzerinde çalıştı.