Görüntü kaynağı: Sınırsız AI tarafından oluşturuldu
Geçen hafta, yeni bir "küçük" cihaz, küresel teknoloji topluluğunun coşkusunu ateşledi. OpenAI CEO'su Sam Altman - AI Pin tarafından yatırım yapılan insanlık tarihindeki ilk gerçek AI donanımıdır.
AI Pin, kullanıldığında doğrudan göğse sabitlenir Kimden: Humane Official
Göğsüne tutturulan ve birçok medya tarafından "AI çağında iPhone" olarak adlandırılan bu donanım, tasarımda "radikal" bir vurgu yapıyor, merkezi mobil cihazların geçmişte sahip olması gereken ekranı doğrudan kesiyor ve akıllı telefonlardan bağımsız olarak çalışması gerekiyor.
Resmi demoda, AI Pin, elinizdeki bademde kaç gram protein olduğunu doğrudan hesaplayabilir Kimden: İnsancıl Resmi
Uygulama düzeyinde, GPT4 tarafından desteklenen AI asistanı hem sistem hem de tek uygulamadır. Kullanıcının sesli komutları ana kontroldür. Lazer projeksiyon ve hareket tanımanın geri kalanı, kullanıcılara çok basit bir arayüz ve kontrol ile bilgi, hava durumu, saat, tarih, navigasyon ve diğer içerikleri sağlayan tüm etkileşimli sisteme ek olarak kullanılır.
Tanınmış bir geliştirici olan Steven Tey, AI Pin'in kendisine o zamanlar iPhone'un piyasaya sürülmesini hatırlattığını söyledi
Tüm mobil İnternet çağının etkileşim mantığının bu şekilde altüst olması, AI Pin'in birçok geek kullanıcısı tarafından sevilmesini sağladı.
Çoğu sıradan kullanıcının fikri, akıllı telefonlarını tekrar yükseltmek için "bu etkileşimi ve yeteneği akıllı telefonlarına yerleştirmeyi ummaları" yönündedir.
Açıkçası, büyük modellerin çeşitli yeteneklerinin kademeli olarak uygulanmasıyla tüketiciler, mobil cihazlarının yalnızca CPU ve GPU'ların mutlak performansından ziyade yapay zeka yeteneklerini sorunsuz bir şekilde çalıştırıp çalıştıramayacağını düşündükleri bir döneme girmek üzereler. Ve bu kaçınılmaz olarak yeni zorluklar ve fırsatlar getirecektir.
Yapay zeka modellerini mobil terminallerde yaygınlaştırmanın zorlukları nelerdir?
Her şeyden önce, AI modeli tarafından önerilen yeni bilgi işlem gücü gereksinimleridir.
Çeşitli sistem ve yazılım yükleriyle karşı karşıya kalan cep telefonları ve dizüstü bilgisayarların aksine, büyük modeller, önceki AI uygulamalarına kıyasla nöral ölçek, bilgi işlem kapasitesi, depolama alanı ve okuma ve yazma hızı açısından onlarca kat arttı.
GPT-3 ve GPT-4 parametre ölçeklerinin karşılaştırılması: orta
OpenAI'nin en son GPT-4 modelini örnek alırsak, sektördeki söylentilere göre 1,8 trilyon kadar parametre varken, 2018'de piyasaya sürülen GPT-1'de yalnızca 110 milyon parametre var. Ölçek farkı 10.000 kattır.
Mobil büyük model uygulama aşamasında model zayıflatılsa bile, gerçek uygulamadaki çıkarım modeli parametrelerinin sayısı 7 milyar ila 10 milyar parametre kadar yüksek olacaktır. Mobil terminallerde CPU ve GPU'nun donanım özelliklerini yükseltmek için önceki yönteme güvenmek, birkaç kat, hatta onlarca kat artan AI bilgi işlem talebini kesinlikle karşılayamayacaktır.
Yeni talebi çözmenin veya İnternet'e bağlanmanın ve bilgi işlem sürecini buluta "aktarmak" için ağı kullanmanın yalnızca iki yolu vardır. Veya bilgi işlem gücünü artırmanın ve sonuçları doğrudan yerel olarak hesaplamanın bir yolunu bulun.
Ürünün başında tanıtılan AI Pin, Amerikan operatörlerinin ağ hizmetleriyle paketlenip entegre edilmiştir ve aylık 24 dolarlık kirası yalnızca OpenAI'nin hizmet yetenekleri için ödeme yapmak için değil, aynı zamanda mobil ağlarda harcamak için de geçerlidir.
Bu görünüşte "özlü" yaklaşımın da birçok sorusu var.
Birincisi, kişisel verilerin, bireyin yaşam parçalarının çoğunun ve hatta bazı son derece özel bilgilerin AI Pin gibi donanımlar tarafından yüklenmesi durumunda veri güvenliği risklerine yol açacak en tehlikeli gizlilik sorunudur.
Bir adım geriye gidersek, tüm AI bilgi işlem ihtiyaçlarını buluta koyan, verileri yerel olarak yükleyen ve ardından verileri indiren ağın kalitesi, son kullanıcı deneyimini büyük ölçüde etkileyecektir. Özellikle mobil ağ kapsama alanının Çin'inki kadar iyi olmadığı denizaşırı ülkelerde, gecikme olasılığı yüksektir ve hatta yanıt yoktur.
Maliyet zorluğuna da dikkat etmek gerekir, ancak bir kerelik yerel bilgi işlem gücü satın almanın ön yatırımı, sürekli abone olunan bulut bilgi işlem gücünden daha büyüktür, ancak tüm yaşam döngüsü genellikle çok daha uygun maliyetlidir. Örnek olarak AI Pin'i ele alalım, başlangıç fiyatı 699 dolar ve kirası aylık 24 dolar, ucuz değil.
Yukarıdaki üç noktayı entegre ederek, bir sonuca varmak zor değil: AI büyük modellerinin mobil cihazlarda yerelleştirilmesi en uygun çözümdür.
Buna bağlı olarak, mobil cihaz endüstrisinin, temel donanımdan üst düzey ekosisteme kapsamlı bir yükseltme yapması gerekiyor.
Yapay zeka çağında Qualcomm
Tüm mobil pazara baktığımızda, bu kapsamlı yükseltmeyi tanıtma yeteneğine sahip yalnızca birkaç oyuncu var ve Qualcomm bunlardan biri.
Yılın başındaki MWC2023 Qualcomm, ikinci nesil Snapdragon 8 tarafından desteklenen akıllı telefonlarda üretken bir AI modeli olan Stable Diffusion'ı çalışırken gösterdi. 1 milyar parametreden oluşan bir ölçekle, Kararlı Difüzyon modeli 15 saniyede 20 adım çıkarım gerçekleştirebilir ve bir görüntüye bir metin istemi oluşturabilir.
3. Nesil Snapdragon 8 mobil platformunun öne çıkan özellikleri
Qualcomm'un yakın zamanda piyasaya sürülen yeni amiral gemisi mobil platformunda, Qualcomm'un yapay zeka motoru Hexagon NPU'nun çekirdeği olan üçüncü nesil Snapdragon 8, genel performans %98 ve enerji verimliliği %40 artırılarak yeniden yükseltildi.
Performansın daha ayrıntılı bir boyutunda, en yeni Hexagon NPU, 2 her zaman açık ISP, 1 DPS, 2 mikro NPU, %30 daha fazla bellek ve INT4 bilgi işlem modu desteği dahil olmak üzere daha güçlü bir Qualcomm sensör hub'ını entegre ederek AI performansını 3,5 kata kadar artırır.
Sezgisel sonuç, üçüncü nesil Snapdragon 8'in 10 milyara kadar parametreye sahip üretken yapay zeka modellerini ve 20 jeton/sn'de büyük dil modellerini çalıştırabilmesidir. Ve bu sadece desteklenen sayılar değil, zaten ulaşılabilir olan yeteneklerdir.
Bu kadar güçlü bir performansa sahip olan üçüncü nesil Snapdragon 8, büyük yapay zeka modelleriyle ilgili birçok uygulamayı yerel olarak çalıştırabildi.
Honor Mobile CEO'su Zhao Ming, Snapdragon Zirvesi'nde cep telefonlarında temalı videoların oluşturulmasını destekleyebilecek üretken yapay zeka kullanım durumunu gösterdi. Cep telefonu sistemi, yerel medya kitaplığındaki aynı temaya sahip resimleri ve videoları kendi başına alabilir ve ardından AI büyük modelinin videoyu düzenlemesine izin verebilir.
Kullanıcılar daha sonra AI ile konuşarak arka plan müziğini ve şablonu değiştirebilir ve tüm bu süreç, buluta yükledikten sonra özel fotoğraf ve video verilerinin yanlışlıkla sızması konusunda endişelenmeden gelecekte tamamen yerel olacaktır.
Xiaomi 14 serisinde, önceden uyarlanmış WPS, yalnızca giriş temasıyla tek bir tıklamayla PPT sunumları oluşturmakla kalmaz, aynı zamanda metin içeren resimleri ve makaleleri tanır, "bir bakış ve on satır" tarama ve okuma gerçekleştirir, önemli noktaları çıkarır ve kullanıcılar en çok bilmek istedikleri sorulara göre doğrudan yapay zekaya soru sorabilir.
Xiaomi 14'te WPS işlevselliğinin gösterilmesi
Makaleler, sözleşmeler ve eğitim yazılımları gibi belgeler için WPS AI, kullanıcıların tarama ve tanıma yoluyla tam metni anlamasına, analiz etmesine ve özetlemesine yardımcı olabilir ve doğruluk ve orijinalliği sağlamak için belge izlenebilirlik işlevleri sağlayabilir.
Qualcomm, güçlü üçüncü nesil Snapdragon 8 mobil platformuna ek olarak, bugüne kadarki en güçlü PC'ye hazır bilgi işlem işlemcisini de tanıttı: Snapdragon X Elite.
Bunlar arasında, CPU bölümünde Qualcomm, ARM komut seti ile uyumluluk öncülüğünde tamamen yeniden yapılandırılmış bir Oryon CPU sundu, yetkili, tek çekirdekli performansının Apple M2 Max'in yaklaşık %14 önünde olduğunu ve güç tüketiminin %30 azaldığını söyledi; Aynı zamanda, CPU tek iş parçacıklı performansı, yüksek performanslı oyun terminalleri için özel olarak tasarlanmış i9-13980HX'inkini aşıyor ve aynı performans seviyesinde güç tüketimi% 70 oranında azaltılıyor.
Adreno GPU'nun performansı da 4,6 trilyon kayan nokta işlemine (TFLOPS) yükseltilirken, 4K@120Hz HDR10 ekranı destekler ve üç UHD veya iki 5K harici ekrana genişler.
Mobil platformla karşılaştırıldığında, X Elite'in heterojen bilgi işlem gücü daha da geliştirildi ve Hexagon NPU'nun 45TOPS bilgi işlem gücünü desteklediği 75TOPS'a ulaştı. Mükemmel performansı sayesinde, yerel olarak 13 milyar parametreli bir model çalıştırabildi ve 7 milyar parametreli büyük bir dil modeli saniyede 30 jeton üretebiliyor.
Snapdragon Zirvesi'nde, tanınmış video düzenleme yazılımı Leonardo da Vinci'nin üreticisi Blackmagic Design, Snapdragon X Elite'in yapay zekada kullanımının bir resmini de verdi: AI özellikli bilgi işlem yoğun Magic Mask için Snapdragon X Elite, entegre GPU'lu üst düzey 12 çekirdekli Windows işlemciden 1,7 kat daha hızlıdır ve Magic Mask, aynı 3 çekirdekli işlemcide çalışmaktan 12 kat daha hızlı olan entegre NPU üzerinde çalışır.
Bir bakışta Snapdragon X Elite çipinin öne çıkan özellikleri
Cep telefonlarının ve dizüstü bilgisayarların mükemmel performansının arkasında, Qualcomm'un güçlü çip performansına ek olarak, Qualcomm'un genel AI yazılım yığınının kredisine de sahiptir. Örneğin, bu zirvede Qualcomm, Snapdragon yongalarına ONNX Çalışma Zamanı hızlı erişimi ve Microsoft'un Hesaplama Sürücüsü Modeli (MCDM) desteği için destek eklediğini duyurdu.
Birincisi, Microsoft tarafından başlatılan ve çeşitli çalışan arka uçları destekleyen bir çıkarım çerçevesidir, böylece geliştiriciler karşılık gelen çıkarım uygulamaları yaparken daha verimli olabilirler; MCDM desteğine gelince, gelecekteki Qualcomm NPU, Windows sisteminde daha verimli ve doğrudan olacaktır.
Qualcomm'un ekosistemdeki çabaları, yalnızca terminal satıcı ortaklarının mükemmel ürünler oluşturmasına yardımcı olmakla kalmaz, aynı zamanda Qualcomm platformlarında AI büyük model uygulamalarının uygulanmasını ve tanıtımını teşvik etmek için giderek daha fazla bağımsız yazılım satıcısını (ISV) ve geliştiriciyi Qualcomm'un ekosistemine katılmaya çeker.
Qualcomm hala hızlanıyor
İlk yapay zeka araştırma projesinin başlatılmasından bu yana Qualcomm, on yıldan fazla bir süredir yapay zeka alanıyla derinden ilgilenmektedir. Mobil platformlarda yıllarca süren teknoloji birikimi ve yapay zeka yeteneklerinin sürekli keşfi, nihayet yapay zeka modelinin indiği anda patladı.
Yarı iletken endüstrisindeki çiplerin yaklaşık 3 yıllık geliştirme döngüsüne göre, yeni piyasaya sürülen üçüncü nesil Snapdragon 8 mobil platformu ve mükemmel performansa sahip Snapdragon X Elite, Qualcomm'un mobil cihazlar ve yapay zeka endüstrilerini derinlemesine anladığını ve kavradığını gösteren 2020 gibi erken bir tarihte geliştirme sürecine girdi.
Bu en son teknoloji arayışı ve kullanıcılara en üst düzey deneyimi sunma niyeti, Qualcomm'u ilerlemeye devam etmeye itiyor. Ayrıca, iletişim teknolojisi ve cep telefonu SoC platformizasyonu ile 3G/4G döneminden yükselen Qualcomm'un, AI büyük modellerinin nadir fırsatını yeniden yakalamasına izin verdi.
Böyle bir Qualcomm, doğal olarak, artık yalnızca mobil cihazların temel işlem performansına odaklanmayan, aynı zamanda AI performansına daha fazla önem veren tüketiciler için ilk tercih haline gelecektir.
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Bir bilgisayarı yalnızca CPU/GPU performansına dayalı olarak değiştirme dönemi geçti
Orijinal kaynak: Silikon Yıldız İnsanlar
Geçen hafta, yeni bir "küçük" cihaz, küresel teknoloji topluluğunun coşkusunu ateşledi. OpenAI CEO'su Sam Altman - AI Pin tarafından yatırım yapılan insanlık tarihindeki ilk gerçek AI donanımıdır.
Göğsüne tutturulan ve birçok medya tarafından "AI çağında iPhone" olarak adlandırılan bu donanım, tasarımda "radikal" bir vurgu yapıyor, merkezi mobil cihazların geçmişte sahip olması gereken ekranı doğrudan kesiyor ve akıllı telefonlardan bağımsız olarak çalışması gerekiyor.
Uygulama düzeyinde, GPT4 tarafından desteklenen AI asistanı hem sistem hem de tek uygulamadır. Kullanıcının sesli komutları ana kontroldür. Lazer projeksiyon ve hareket tanımanın geri kalanı, kullanıcılara çok basit bir arayüz ve kontrol ile bilgi, hava durumu, saat, tarih, navigasyon ve diğer içerikleri sağlayan tüm etkileşimli sisteme ek olarak kullanılır.
Tüm mobil İnternet çağının etkileşim mantığının bu şekilde altüst olması, AI Pin'in birçok geek kullanıcısı tarafından sevilmesini sağladı.
Çoğu sıradan kullanıcının fikri, akıllı telefonlarını tekrar yükseltmek için "bu etkileşimi ve yeteneği akıllı telefonlarına yerleştirmeyi ummaları" yönündedir.
Açıkçası, büyük modellerin çeşitli yeteneklerinin kademeli olarak uygulanmasıyla tüketiciler, mobil cihazlarının yalnızca CPU ve GPU'ların mutlak performansından ziyade yapay zeka yeteneklerini sorunsuz bir şekilde çalıştırıp çalıştıramayacağını düşündükleri bir döneme girmek üzereler. Ve bu kaçınılmaz olarak yeni zorluklar ve fırsatlar getirecektir.
Yapay zeka modellerini mobil terminallerde yaygınlaştırmanın zorlukları nelerdir?
Her şeyden önce, AI modeli tarafından önerilen yeni bilgi işlem gücü gereksinimleridir.
Çeşitli sistem ve yazılım yükleriyle karşı karşıya kalan cep telefonları ve dizüstü bilgisayarların aksine, büyük modeller, önceki AI uygulamalarına kıyasla nöral ölçek, bilgi işlem kapasitesi, depolama alanı ve okuma ve yazma hızı açısından onlarca kat arttı.
OpenAI'nin en son GPT-4 modelini örnek alırsak, sektördeki söylentilere göre 1,8 trilyon kadar parametre varken, 2018'de piyasaya sürülen GPT-1'de yalnızca 110 milyon parametre var. Ölçek farkı 10.000 kattır.
Mobil büyük model uygulama aşamasında model zayıflatılsa bile, gerçek uygulamadaki çıkarım modeli parametrelerinin sayısı 7 milyar ila 10 milyar parametre kadar yüksek olacaktır. Mobil terminallerde CPU ve GPU'nun donanım özelliklerini yükseltmek için önceki yönteme güvenmek, birkaç kat, hatta onlarca kat artan AI bilgi işlem talebini kesinlikle karşılayamayacaktır.
Yeni talebi çözmenin veya İnternet'e bağlanmanın ve bilgi işlem sürecini buluta "aktarmak" için ağı kullanmanın yalnızca iki yolu vardır. Veya bilgi işlem gücünü artırmanın ve sonuçları doğrudan yerel olarak hesaplamanın bir yolunu bulun.
Ürünün başında tanıtılan AI Pin, Amerikan operatörlerinin ağ hizmetleriyle paketlenip entegre edilmiştir ve aylık 24 dolarlık kirası yalnızca OpenAI'nin hizmet yetenekleri için ödeme yapmak için değil, aynı zamanda mobil ağlarda harcamak için de geçerlidir.
Bu görünüşte "özlü" yaklaşımın da birçok sorusu var.
Birincisi, kişisel verilerin, bireyin yaşam parçalarının çoğunun ve hatta bazı son derece özel bilgilerin AI Pin gibi donanımlar tarafından yüklenmesi durumunda veri güvenliği risklerine yol açacak en tehlikeli gizlilik sorunudur.
Bir adım geriye gidersek, tüm AI bilgi işlem ihtiyaçlarını buluta koyan, verileri yerel olarak yükleyen ve ardından verileri indiren ağın kalitesi, son kullanıcı deneyimini büyük ölçüde etkileyecektir. Özellikle mobil ağ kapsama alanının Çin'inki kadar iyi olmadığı denizaşırı ülkelerde, gecikme olasılığı yüksektir ve hatta yanıt yoktur.
Maliyet zorluğuna da dikkat etmek gerekir, ancak bir kerelik yerel bilgi işlem gücü satın almanın ön yatırımı, sürekli abone olunan bulut bilgi işlem gücünden daha büyüktür, ancak tüm yaşam döngüsü genellikle çok daha uygun maliyetlidir. Örnek olarak AI Pin'i ele alalım, başlangıç fiyatı 699 dolar ve kirası aylık 24 dolar, ucuz değil.
Yukarıdaki üç noktayı entegre ederek, bir sonuca varmak zor değil: AI büyük modellerinin mobil cihazlarda yerelleştirilmesi en uygun çözümdür.
Buna bağlı olarak, mobil cihaz endüstrisinin, temel donanımdan üst düzey ekosisteme kapsamlı bir yükseltme yapması gerekiyor.
Yapay zeka çağında Qualcomm
Tüm mobil pazara baktığımızda, bu kapsamlı yükseltmeyi tanıtma yeteneğine sahip yalnızca birkaç oyuncu var ve Qualcomm bunlardan biri.
Yılın başındaki MWC2023 Qualcomm, ikinci nesil Snapdragon 8 tarafından desteklenen akıllı telefonlarda üretken bir AI modeli olan Stable Diffusion'ı çalışırken gösterdi. 1 milyar parametreden oluşan bir ölçekle, Kararlı Difüzyon modeli 15 saniyede 20 adım çıkarım gerçekleştirebilir ve bir görüntüye bir metin istemi oluşturabilir.
Qualcomm'un yakın zamanda piyasaya sürülen yeni amiral gemisi mobil platformunda, Qualcomm'un yapay zeka motoru Hexagon NPU'nun çekirdeği olan üçüncü nesil Snapdragon 8, genel performans %98 ve enerji verimliliği %40 artırılarak yeniden yükseltildi.
Performansın daha ayrıntılı bir boyutunda, en yeni Hexagon NPU, 2 her zaman açık ISP, 1 DPS, 2 mikro NPU, %30 daha fazla bellek ve INT4 bilgi işlem modu desteği dahil olmak üzere daha güçlü bir Qualcomm sensör hub'ını entegre ederek AI performansını 3,5 kata kadar artırır.
Sezgisel sonuç, üçüncü nesil Snapdragon 8'in 10 milyara kadar parametreye sahip üretken yapay zeka modellerini ve 20 jeton/sn'de büyük dil modellerini çalıştırabilmesidir. Ve bu sadece desteklenen sayılar değil, zaten ulaşılabilir olan yeteneklerdir.
Bu kadar güçlü bir performansa sahip olan üçüncü nesil Snapdragon 8, büyük yapay zeka modelleriyle ilgili birçok uygulamayı yerel olarak çalıştırabildi.
Honor Mobile CEO'su Zhao Ming, Snapdragon Zirvesi'nde cep telefonlarında temalı videoların oluşturulmasını destekleyebilecek üretken yapay zeka kullanım durumunu gösterdi. Cep telefonu sistemi, yerel medya kitaplığındaki aynı temaya sahip resimleri ve videoları kendi başına alabilir ve ardından AI büyük modelinin videoyu düzenlemesine izin verebilir.
Kullanıcılar daha sonra AI ile konuşarak arka plan müziğini ve şablonu değiştirebilir ve tüm bu süreç, buluta yükledikten sonra özel fotoğraf ve video verilerinin yanlışlıkla sızması konusunda endişelenmeden gelecekte tamamen yerel olacaktır.
Xiaomi 14 serisinde, önceden uyarlanmış WPS, yalnızca giriş temasıyla tek bir tıklamayla PPT sunumları oluşturmakla kalmaz, aynı zamanda metin içeren resimleri ve makaleleri tanır, "bir bakış ve on satır" tarama ve okuma gerçekleştirir, önemli noktaları çıkarır ve kullanıcılar en çok bilmek istedikleri sorulara göre doğrudan yapay zekaya soru sorabilir.
Makaleler, sözleşmeler ve eğitim yazılımları gibi belgeler için WPS AI, kullanıcıların tarama ve tanıma yoluyla tam metni anlamasına, analiz etmesine ve özetlemesine yardımcı olabilir ve doğruluk ve orijinalliği sağlamak için belge izlenebilirlik işlevleri sağlayabilir.
Qualcomm, güçlü üçüncü nesil Snapdragon 8 mobil platformuna ek olarak, bugüne kadarki en güçlü PC'ye hazır bilgi işlem işlemcisini de tanıttı: Snapdragon X Elite.
Bunlar arasında, CPU bölümünde Qualcomm, ARM komut seti ile uyumluluk öncülüğünde tamamen yeniden yapılandırılmış bir Oryon CPU sundu, yetkili, tek çekirdekli performansının Apple M2 Max'in yaklaşık %14 önünde olduğunu ve güç tüketiminin %30 azaldığını söyledi; Aynı zamanda, CPU tek iş parçacıklı performansı, yüksek performanslı oyun terminalleri için özel olarak tasarlanmış i9-13980HX'inkini aşıyor ve aynı performans seviyesinde güç tüketimi% 70 oranında azaltılıyor.
Adreno GPU'nun performansı da 4,6 trilyon kayan nokta işlemine (TFLOPS) yükseltilirken, 4K@120Hz HDR10 ekranı destekler ve üç UHD veya iki 5K harici ekrana genişler.
Mobil platformla karşılaştırıldığında, X Elite'in heterojen bilgi işlem gücü daha da geliştirildi ve Hexagon NPU'nun 45TOPS bilgi işlem gücünü desteklediği 75TOPS'a ulaştı. Mükemmel performansı sayesinde, yerel olarak 13 milyar parametreli bir model çalıştırabildi ve 7 milyar parametreli büyük bir dil modeli saniyede 30 jeton üretebiliyor.
Snapdragon Zirvesi'nde, tanınmış video düzenleme yazılımı Leonardo da Vinci'nin üreticisi Blackmagic Design, Snapdragon X Elite'in yapay zekada kullanımının bir resmini de verdi: AI özellikli bilgi işlem yoğun Magic Mask için Snapdragon X Elite, entegre GPU'lu üst düzey 12 çekirdekli Windows işlemciden 1,7 kat daha hızlıdır ve Magic Mask, aynı 3 çekirdekli işlemcide çalışmaktan 12 kat daha hızlı olan entegre NPU üzerinde çalışır.
Cep telefonlarının ve dizüstü bilgisayarların mükemmel performansının arkasında, Qualcomm'un güçlü çip performansına ek olarak, Qualcomm'un genel AI yazılım yığınının kredisine de sahiptir. Örneğin, bu zirvede Qualcomm, Snapdragon yongalarına ONNX Çalışma Zamanı hızlı erişimi ve Microsoft'un Hesaplama Sürücüsü Modeli (MCDM) desteği için destek eklediğini duyurdu.
Birincisi, Microsoft tarafından başlatılan ve çeşitli çalışan arka uçları destekleyen bir çıkarım çerçevesidir, böylece geliştiriciler karşılık gelen çıkarım uygulamaları yaparken daha verimli olabilirler; MCDM desteğine gelince, gelecekteki Qualcomm NPU, Windows sisteminde daha verimli ve doğrudan olacaktır.
Qualcomm'un ekosistemdeki çabaları, yalnızca terminal satıcı ortaklarının mükemmel ürünler oluşturmasına yardımcı olmakla kalmaz, aynı zamanda Qualcomm platformlarında AI büyük model uygulamalarının uygulanmasını ve tanıtımını teşvik etmek için giderek daha fazla bağımsız yazılım satıcısını (ISV) ve geliştiriciyi Qualcomm'un ekosistemine katılmaya çeker.
Qualcomm hala hızlanıyor
İlk yapay zeka araştırma projesinin başlatılmasından bu yana Qualcomm, on yıldan fazla bir süredir yapay zeka alanıyla derinden ilgilenmektedir. Mobil platformlarda yıllarca süren teknoloji birikimi ve yapay zeka yeteneklerinin sürekli keşfi, nihayet yapay zeka modelinin indiği anda patladı.
Yarı iletken endüstrisindeki çiplerin yaklaşık 3 yıllık geliştirme döngüsüne göre, yeni piyasaya sürülen üçüncü nesil Snapdragon 8 mobil platformu ve mükemmel performansa sahip Snapdragon X Elite, Qualcomm'un mobil cihazlar ve yapay zeka endüstrilerini derinlemesine anladığını ve kavradığını gösteren 2020 gibi erken bir tarihte geliştirme sürecine girdi.
Bu en son teknoloji arayışı ve kullanıcılara en üst düzey deneyimi sunma niyeti, Qualcomm'u ilerlemeye devam etmeye itiyor. Ayrıca, iletişim teknolojisi ve cep telefonu SoC platformizasyonu ile 3G/4G döneminden yükselen Qualcomm'un, AI büyük modellerinin nadir fırsatını yeniden yakalamasına izin verdi.
Böyle bir Qualcomm, doğal olarak, artık yalnızca mobil cihazların temel işlem performansına odaklanmayan, aynı zamanda AI performansına daha fazla önem veren tüketiciler için ilk tercih haline gelecektir.