Một số người tham gia OpenAI, một số thành lập công ty khởi nghiệp và một số gắn bó với Google AI. Chính họ đã cùng nhau bắt đầu kỷ nguyên phát triển AI ngày nay.
Từ ChatGPT đến công nghệ vẽ AI, làn sóng đột phá gần đây trong lĩnh vực trí tuệ nhân tạo có thể là nhờ Transformer.
Hôm nay đánh dấu kỷ niệm sáu năm ngày nộp bài báo về máy biến áp nổi tiếng.
Liên kết giấy:
Sáu năm trước, một bài báo với cái tên phóng đại đã được tải lên nền tảng giấy in sẵn arXiv, cụm từ "xx is All You Need" đã được các nhà phát triển trong lĩnh vực AI lặp lại và thậm chí nó đã trở thành xu hướng trong tiêu đề của bài báo. paper., và Transformer không còn là ý nghĩa của Transformers nữa, mà giờ đây nó tượng trưng cho công nghệ tiên tiến nhất trong lĩnh vực AI.
Sáu năm sau, nhìn lại bài báo này năm đó, chúng ta có thể tìm thấy nhiều chỗ thú vị hoặc ít được biết đến, như Jim Fan, một nhà khoa học AI tại Nvidia đã tóm tắt.
## ** "Cơ chế chú ý" không được đề xuất bởi tác giả của Transformer**
Mô hình Transformer từ bỏ các đơn vị CNN và RNN truyền thống và toàn bộ cấu trúc mạng hoàn toàn bao gồm các cơ chế chú ý.
Mặc dù tên của bài báo Transformer là "Attention is All You Need", chúng tôi tiếp tục thúc đẩy cơ chế chú ý vì nó, nhưng xin lưu ý một sự thật thú vị: không phải các nhà nghiên cứu về Transformer đã phát minh ra sự chú ý, nhưng họ đặt nó cơ chế được đẩy đến cực điểm.
Cơ chế chú ý được đề xuất bởi một nhóm do nhà tiên phong học sâu Yoshua Bengio đứng đầu vào năm 2014:
* "Neural Machine Translation by Jointly Learning to Align and Translate", tiêu đề tương đối đơn giản. *
Trong bài báo ICLR 2015 này, Bengio và cộng sự đã đề xuất một sự kết hợp giữa RNN + "context vector" (tức là sự chú ý). Mặc dù nó là một trong những cột mốc quan trọng nhất trong lĩnh vực NLP, nhưng nó ít nổi tiếng hơn Transformer, bài báo của nhóm Bengio đã được trích dẫn 29.000 lần cho đến nay và Transformer có 77.000.
Cơ chế chú ý của AI được mô phỏng một cách tự nhiên dựa trên sự chú ý trực quan của con người. Có một khả năng bẩm sinh trong bộ não con người: khi chúng ta nhìn vào một bức tranh, đầu tiên chúng ta quét nhanh bức tranh, sau đó khóa khu vực mục tiêu cần tập trung vào.
Nếu bạn không buông bỏ bất kỳ thông tin địa phương nào, bạn chắc chắn sẽ làm rất nhiều việc vô ích, không có lợi cho sự sống còn. Tương tự như vậy, việc giới thiệu các cơ chế tương tự trong các mạng học sâu có thể đơn giản hóa các mô hình và tăng tốc độ tính toán. Về bản chất, Chú ý là lọc ra một lượng nhỏ thông tin quan trọng từ một lượng lớn thông tin và tập trung vào những thông tin quan trọng này, bỏ qua hầu hết các thông tin không quan trọng.
Trong những năm gần đây, cơ chế chú ý đã được sử dụng rộng rãi trong nhiều lĩnh vực học sâu khác nhau, chẳng hạn như trong thị giác máy tính để nắm bắt các trường tiếp nhận trên hình ảnh hoặc trong NLP để định vị các mã thông báo hoặc tính năng chính. Một số lượng lớn các thử nghiệm đã chứng minh rằng mô hình với cơ chế chú ý đã đạt được những cải tiến đáng kể về hiệu suất trong các tác vụ như phân loại hình ảnh, phân đoạn, theo dõi, nâng cao và nhận dạng, hiểu, trả lời câu hỏi và dịch thuật ngôn ngữ tự nhiên.
Mô hình Transformer giới thiệu cơ chế chú ý có thể được coi là một máy tính trình tự mục đích chung. Cơ chế chú ý cho phép mô hình gán các trọng số chú ý khác nhau theo mối tương quan của các vị trí khác nhau trong chuỗi khi xử lý trình tự đầu vào. Nó cho phép Transformer thực hiện nắm bắt các phụ thuộc đường dài và thông tin ngữ cảnh, do đó cải thiện hiệu quả của quá trình xử lý trình tự.
Nhưng trong năm đó, cả Transformer lẫn bài báo ban đầu đều không nói về máy tính tuần tự đa năng. Thay vào đó, các tác giả xem nó như một cơ chế để giải quyết một vấn đề hẹp và cụ thể - dịch máy. Vì vậy, khi chúng tôi lần theo nguồn gốc của AGI trong tương lai, chúng tôi có thể lần ngược lại nó với Google Dịch "không rõ ràng".
Mặc dù đã được NeurIPS 2017 chấp nhận, nhưng nó thậm chí còn không đạt được giải thưởng Oral
Mặc dù bài báo của Transformer hiện đang rất có ảnh hưởng, nhưng nó thậm chí còn không nhận được giải Miệng, chứ chưa nói đến giải thưởng, tại hội nghị AI hàng đầu thế giới NeurIPS 2017. Hội nghị đã nhận được tổng cộng 3.240 bài báo nộp trong năm đó, trong đó 678 bài được chọn làm bài báo hội nghị. Bài báo Transformer là một trong những bài báo được chấp nhận. Trong số các bài báo này, 40 bài báo nói, 112 bài báo Spotlight và 3 bài báo tốt nhất Papers, giải Test of time, Transformer trượt giải.
Dù trượt giải giấy NeurIPS 2017 nhưng tầm ảnh hưởng của Transformer thì ai cũng thấy rõ.
Jim Fan nhận xét: Không phải lỗi của ban giám khảo mà người ta khó nhận ra tầm quan trọng của một nghiên cứu có ảnh hưởng trước khi nó trở nên có ảnh hưởng. Tuy nhiên, cũng có những bài báo may mắn được phát hiện ngay từ đầu, chẳng hạn như ResNet do He Kaiming và những người khác đề xuất đã giành giải bài báo hay nhất của CVPR 2016 năm đó, nghiên cứu này rất xứng đáng và đã được ghi nhận chính xác bởi Hội nghị thượng đỉnh AI. Nhưng ở thời điểm hiện tại của năm 2017, các nhà nghiên cứu dù thông minh đến đâu cũng chưa thể lường trước được những thay đổi do LLM mang lại bây giờ, giống như những năm 1980, ít ai có thể lường trước được cơn sóng thần do deep learning mang lại kể từ năm 2012.
## Tám tác giả, cuộc sống của họ thật tuyệt vời
Vào thời điểm đó, có 8 tác giả của bài báo này, họ đến từ Google và Đại học Toronto, 5 năm sau, hầu hết các tác giả của bài báo đã rời khỏi tổ chức ban đầu.
Vào ngày 26 tháng 4 năm 2022, một công ty mang tên "Adept" chính thức được thành lập với 9 người đồng sáng lập, trong đó có hai tác giả của bài báo Transformer là Ashish Vaswani và Niki Parmar.
Ashish Vaswani đã nhận bằng Tiến sĩ tại Đại học Nam California, dưới sự hướng dẫn của các học giả Trung Quốc David Chiang và Liang Huang, và chủ yếu nghiên cứu ứng dụng ban đầu của học sâu hiện đại trong mô hình hóa ngôn ngữ. Năm 2016, anh gia nhập Google Brain và lãnh đạo nghiên cứu Transformer, rời Google vào năm 2021.
Niki Parmar tốt nghiệp thạc sĩ tại Đại học Nam California và gia nhập Google vào năm 2016. Trong quá trình làm việc của mình, cô đã phát triển một số mô hình trả lời câu hỏi và văn bản tương tự thành công cho tìm kiếm và quảng cáo của Google. Cô ấy đã lãnh đạo công việc ban đầu về việc mở rộng mô hình Máy biến áp sang tạo hình ảnh, thị giác máy tính, v.v. Vào năm 2021, cô ấy cũng sẽ rời Google.
Sau khi rời đi, hai người đồng sáng lập Adept và lần lượt giữ chức vụ Nhà khoa học trưởng (Ashish Vaswani) và Giám đốc công nghệ (Niki Parmar). Tầm nhìn của Adept là tạo ra một AI được gọi là "đồng đội trí tuệ nhân tạo" được đào tạo để sử dụng nhiều công cụ phần mềm và API khác nhau.
Vào tháng 3 năm 2023, Adept thông báo đã hoàn thành vòng cấp vốn Series B trị giá 350 triệu đô la Mỹ. Định giá của công ty đã vượt quá 1 tỷ đô la Mỹ và nó đã được nâng cấp thành kỳ lân. Tuy nhiên, vào thời điểm Adept huy động vốn công, Niki Parmar và Ashish Vaswani đã rời Adept để thành lập công ty khởi nghiệp AI mới của riêng họ. Tuy nhiên, công ty mới hiện đang được giữ bí mật và chúng tôi không có quyền truy cập vào thông tin chi tiết của công ty.
Một tác giả bài báo khác, Noam Shazeer, là một trong những nhân viên đầu tiên quan trọng nhất của Google. Anh ấy gia nhập Google vào cuối năm 2000, cho đến khi cuối cùng rời đi vào năm 2021, và sau đó trở thành Giám đốc điều hành của một công ty mới thành lập có tên " Character.AI ".
Ngoài Noam Shazeer, người sáng lập Character.AI là Daniel De Freitas, cả hai đều thuộc nhóm LaMDA của Google. Trước đây, họ đã xây dựng LaMDA, một mô hình ngôn ngữ hỗ trợ các chương trình đàm thoại, tại Google.
Vào tháng 3 năm nay, Character.AI đã công bố hoàn thành khoản tài trợ 150 triệu đô la Mỹ, với mức định giá 1 tỷ đô la Mỹ, là một trong số ít các công ty mới thành lập có tiềm năng cạnh tranh với OpenAI, cơ quan của ChatGPT và tăng trưởng chỉ trong 16 tháng cũng là điều hiếm thấy đối với các công ty kỳ lân. Ứng dụng của nó, Character.AI, là một chatbot mô hình ngôn ngữ thần kinh có thể tạo phản hồi bằng văn bản giống như con người và tham gia vào các cuộc hội thoại theo ngữ cảnh.
Character.AI ra mắt trên Apple App Store và Google Play Store vào ngày 23 tháng 5 năm 2023, với hơn 1,7 triệu lượt tải xuống trong tuần đầu tiên. Vào tháng 5 năm 2023, dịch vụ này đã thêm gói đăng ký trả phí 9,99 đô la mỗi tháng có tên là c.ai+, cho phép người dùng có quyền truy cập trò chuyện ưu tiên, thời gian phản hồi nhanh hơn và quyền truy cập sớm vào các tính năng mới, cùng các đặc quyền khác.
Aidan N. Gomez rời Google vào đầu năm 2019, sau đó làm việc với tư cách là nhà nghiên cứu tại FOR.ai và hiện là người đồng sáng lập kiêm Giám đốc điều hành của Cohere.
Cohere là một công ty khởi nghiệp AI sáng tạo được thành lập vào năm 2019. Hoạt động kinh doanh cốt lõi của nó bao gồm cung cấp các mô hình NLP và giúp các công ty cải thiện khả năng tương tác giữa con người với máy tính. Ba người sáng lập là Ivan Zhang, Nick Frosst và Aidan Gomez, trong đó Gomez và Frosst là cựu thành viên của nhóm Google Brain. Vào tháng 11 năm 2021, Google Cloud đã thông báo rằng họ sẽ hợp tác với Cohere, Google Cloud sẽ sử dụng cơ sở hạ tầng mạnh mẽ của mình để cung cấp năng lượng cho nền tảng Cohere và Cohere sẽ sử dụng TPU của Cloud để phát triển và triển khai các sản phẩm của mình.
Đáng chú ý, Cohere vừa huy động được 270 triệu đô la tài trợ cho Series C, biến nó thành một kỳ lân trị giá 2,2 tỷ đô la.
Łukasz Kaiser rời Google vào năm 2021, làm việc tại Google trong 7 năm 9 tháng và hiện là nhà nghiên cứu tại OpenAI. Trong thời gian làm nhà khoa học nghiên cứu tại Google, anh ấy đã tham gia thiết kế các mô hình thần kinh SOTA để dịch máy, phân tích cú pháp cũng như các nhiệm vụ thuật toán và tổng quát khác, đồng thời là đồng tác giả của hệ thống TensorFlow, thư viện Tensor2Tensor.
Jakob Uszkoreit rời Google vào năm 2021 và làm việc tại Google trong 13 năm trước khi gia nhập Inceptive với tư cách là người đồng sáng lập. Inceptive là một công ty dược phẩm AI chuyên sử dụng học sâu để thiết kế các loại thuốc RNA.
Khi ở Google, Jakob Uszkoreit đã giúp xây dựng nhóm hiểu ngôn ngữ cho Trợ lý Google và làm việc trên Google Dịch từ rất sớm.
Illia Polosukhin đã rời Google vào năm 2017 và hiện là người đồng sáng lập kiêm CTO của NEAR.AI (một công ty công nghệ nền tảng dựa trên chuỗi khối).
Người duy nhất còn ở Google là Llion Jones, năm nay là năm thứ 9 anh ấy làm việc tại Google.
Bây giờ, đã 6 năm trôi qua kể từ khi bài báo "Chú ý là tất cả những gì bạn cần" được xuất bản. Một số tác giả ban đầu đã chọn rời đi và một số đã chọn ở lại Google. Dù thế nào đi nữa, ảnh hưởng của Transformer vẫn tiếp tục.
Xem bản gốc
Nội dung chỉ mang tính chất tham khảo, không phải là lời chào mời hay đề nghị. Không cung cấp tư vấn về đầu tư, thuế hoặc pháp lý. Xem Tuyên bố miễn trừ trách nhiệm để biết thêm thông tin về rủi ro.
Kỷ niệm 6 năm Transformer: Chưa lấy được NeurIPS Oral, 8 tác giả lập mấy kỳ lân AI
Hôm nay đánh dấu kỷ niệm sáu năm ngày nộp bài báo về máy biến áp nổi tiếng.
Sáu năm trước, một bài báo với cái tên phóng đại đã được tải lên nền tảng giấy in sẵn arXiv, cụm từ "xx is All You Need" đã được các nhà phát triển trong lĩnh vực AI lặp lại và thậm chí nó đã trở thành xu hướng trong tiêu đề của bài báo. paper., và Transformer không còn là ý nghĩa của Transformers nữa, mà giờ đây nó tượng trưng cho công nghệ tiên tiến nhất trong lĩnh vực AI.
Sáu năm sau, nhìn lại bài báo này năm đó, chúng ta có thể tìm thấy nhiều chỗ thú vị hoặc ít được biết đến, như Jim Fan, một nhà khoa học AI tại Nvidia đã tóm tắt.
Mô hình Transformer từ bỏ các đơn vị CNN và RNN truyền thống và toàn bộ cấu trúc mạng hoàn toàn bao gồm các cơ chế chú ý.
Mặc dù tên của bài báo Transformer là "Attention is All You Need", chúng tôi tiếp tục thúc đẩy cơ chế chú ý vì nó, nhưng xin lưu ý một sự thật thú vị: không phải các nhà nghiên cứu về Transformer đã phát minh ra sự chú ý, nhưng họ đặt nó cơ chế được đẩy đến cực điểm.
Cơ chế chú ý được đề xuất bởi một nhóm do nhà tiên phong học sâu Yoshua Bengio đứng đầu vào năm 2014:
Trong bài báo ICLR 2015 này, Bengio và cộng sự đã đề xuất một sự kết hợp giữa RNN + "context vector" (tức là sự chú ý). Mặc dù nó là một trong những cột mốc quan trọng nhất trong lĩnh vực NLP, nhưng nó ít nổi tiếng hơn Transformer, bài báo của nhóm Bengio đã được trích dẫn 29.000 lần cho đến nay và Transformer có 77.000.
Nếu bạn không buông bỏ bất kỳ thông tin địa phương nào, bạn chắc chắn sẽ làm rất nhiều việc vô ích, không có lợi cho sự sống còn. Tương tự như vậy, việc giới thiệu các cơ chế tương tự trong các mạng học sâu có thể đơn giản hóa các mô hình và tăng tốc độ tính toán. Về bản chất, Chú ý là lọc ra một lượng nhỏ thông tin quan trọng từ một lượng lớn thông tin và tập trung vào những thông tin quan trọng này, bỏ qua hầu hết các thông tin không quan trọng.
Trong những năm gần đây, cơ chế chú ý đã được sử dụng rộng rãi trong nhiều lĩnh vực học sâu khác nhau, chẳng hạn như trong thị giác máy tính để nắm bắt các trường tiếp nhận trên hình ảnh hoặc trong NLP để định vị các mã thông báo hoặc tính năng chính. Một số lượng lớn các thử nghiệm đã chứng minh rằng mô hình với cơ chế chú ý đã đạt được những cải tiến đáng kể về hiệu suất trong các tác vụ như phân loại hình ảnh, phân đoạn, theo dõi, nâng cao và nhận dạng, hiểu, trả lời câu hỏi và dịch thuật ngôn ngữ tự nhiên.
Mô hình Transformer giới thiệu cơ chế chú ý có thể được coi là một máy tính trình tự mục đích chung. Cơ chế chú ý cho phép mô hình gán các trọng số chú ý khác nhau theo mối tương quan của các vị trí khác nhau trong chuỗi khi xử lý trình tự đầu vào. Nó cho phép Transformer thực hiện nắm bắt các phụ thuộc đường dài và thông tin ngữ cảnh, do đó cải thiện hiệu quả của quá trình xử lý trình tự.
Nhưng trong năm đó, cả Transformer lẫn bài báo ban đầu đều không nói về máy tính tuần tự đa năng. Thay vào đó, các tác giả xem nó như một cơ chế để giải quyết một vấn đề hẹp và cụ thể - dịch máy. Vì vậy, khi chúng tôi lần theo nguồn gốc của AGI trong tương lai, chúng tôi có thể lần ngược lại nó với Google Dịch "không rõ ràng".
Mặc dù đã được NeurIPS 2017 chấp nhận, nhưng nó thậm chí còn không đạt được giải thưởng Oral
Mặc dù bài báo của Transformer hiện đang rất có ảnh hưởng, nhưng nó thậm chí còn không nhận được giải Miệng, chứ chưa nói đến giải thưởng, tại hội nghị AI hàng đầu thế giới NeurIPS 2017. Hội nghị đã nhận được tổng cộng 3.240 bài báo nộp trong năm đó, trong đó 678 bài được chọn làm bài báo hội nghị. Bài báo Transformer là một trong những bài báo được chấp nhận. Trong số các bài báo này, 40 bài báo nói, 112 bài báo Spotlight và 3 bài báo tốt nhất Papers, giải Test of time, Transformer trượt giải.
Dù trượt giải giấy NeurIPS 2017 nhưng tầm ảnh hưởng của Transformer thì ai cũng thấy rõ.
Jim Fan nhận xét: Không phải lỗi của ban giám khảo mà người ta khó nhận ra tầm quan trọng của một nghiên cứu có ảnh hưởng trước khi nó trở nên có ảnh hưởng. Tuy nhiên, cũng có những bài báo may mắn được phát hiện ngay từ đầu, chẳng hạn như ResNet do He Kaiming và những người khác đề xuất đã giành giải bài báo hay nhất của CVPR 2016 năm đó, nghiên cứu này rất xứng đáng và đã được ghi nhận chính xác bởi Hội nghị thượng đỉnh AI. Nhưng ở thời điểm hiện tại của năm 2017, các nhà nghiên cứu dù thông minh đến đâu cũng chưa thể lường trước được những thay đổi do LLM mang lại bây giờ, giống như những năm 1980, ít ai có thể lường trước được cơn sóng thần do deep learning mang lại kể từ năm 2012.
Vào thời điểm đó, có 8 tác giả của bài báo này, họ đến từ Google và Đại học Toronto, 5 năm sau, hầu hết các tác giả của bài báo đã rời khỏi tổ chức ban đầu.
Vào ngày 26 tháng 4 năm 2022, một công ty mang tên "Adept" chính thức được thành lập với 9 người đồng sáng lập, trong đó có hai tác giả của bài báo Transformer là Ashish Vaswani và Niki Parmar.
Niki Parmar tốt nghiệp thạc sĩ tại Đại học Nam California và gia nhập Google vào năm 2016. Trong quá trình làm việc của mình, cô đã phát triển một số mô hình trả lời câu hỏi và văn bản tương tự thành công cho tìm kiếm và quảng cáo của Google. Cô ấy đã lãnh đạo công việc ban đầu về việc mở rộng mô hình Máy biến áp sang tạo hình ảnh, thị giác máy tính, v.v. Vào năm 2021, cô ấy cũng sẽ rời Google.
Sau khi rời đi, hai người đồng sáng lập Adept và lần lượt giữ chức vụ Nhà khoa học trưởng (Ashish Vaswani) và Giám đốc công nghệ (Niki Parmar). Tầm nhìn của Adept là tạo ra một AI được gọi là "đồng đội trí tuệ nhân tạo" được đào tạo để sử dụng nhiều công cụ phần mềm và API khác nhau.
Vào tháng 3 năm 2023, Adept thông báo đã hoàn thành vòng cấp vốn Series B trị giá 350 triệu đô la Mỹ. Định giá của công ty đã vượt quá 1 tỷ đô la Mỹ và nó đã được nâng cấp thành kỳ lân. Tuy nhiên, vào thời điểm Adept huy động vốn công, Niki Parmar và Ashish Vaswani đã rời Adept để thành lập công ty khởi nghiệp AI mới của riêng họ. Tuy nhiên, công ty mới hiện đang được giữ bí mật và chúng tôi không có quyền truy cập vào thông tin chi tiết của công ty.
Một tác giả bài báo khác, Noam Shazeer, là một trong những nhân viên đầu tiên quan trọng nhất của Google. Anh ấy gia nhập Google vào cuối năm 2000, cho đến khi cuối cùng rời đi vào năm 2021, và sau đó trở thành Giám đốc điều hành của một công ty mới thành lập có tên " Character.AI ".
Ngoài Noam Shazeer, người sáng lập Character.AI là Daniel De Freitas, cả hai đều thuộc nhóm LaMDA của Google. Trước đây, họ đã xây dựng LaMDA, một mô hình ngôn ngữ hỗ trợ các chương trình đàm thoại, tại Google.
Vào tháng 3 năm nay, Character.AI đã công bố hoàn thành khoản tài trợ 150 triệu đô la Mỹ, với mức định giá 1 tỷ đô la Mỹ, là một trong số ít các công ty mới thành lập có tiềm năng cạnh tranh với OpenAI, cơ quan của ChatGPT và tăng trưởng chỉ trong 16 tháng cũng là điều hiếm thấy đối với các công ty kỳ lân. Ứng dụng của nó, Character.AI, là một chatbot mô hình ngôn ngữ thần kinh có thể tạo phản hồi bằng văn bản giống như con người và tham gia vào các cuộc hội thoại theo ngữ cảnh.
Character.AI ra mắt trên Apple App Store và Google Play Store vào ngày 23 tháng 5 năm 2023, với hơn 1,7 triệu lượt tải xuống trong tuần đầu tiên. Vào tháng 5 năm 2023, dịch vụ này đã thêm gói đăng ký trả phí 9,99 đô la mỗi tháng có tên là c.ai+, cho phép người dùng có quyền truy cập trò chuyện ưu tiên, thời gian phản hồi nhanh hơn và quyền truy cập sớm vào các tính năng mới, cùng các đặc quyền khác.
Cohere là một công ty khởi nghiệp AI sáng tạo được thành lập vào năm 2019. Hoạt động kinh doanh cốt lõi của nó bao gồm cung cấp các mô hình NLP và giúp các công ty cải thiện khả năng tương tác giữa con người với máy tính. Ba người sáng lập là Ivan Zhang, Nick Frosst và Aidan Gomez, trong đó Gomez và Frosst là cựu thành viên của nhóm Google Brain. Vào tháng 11 năm 2021, Google Cloud đã thông báo rằng họ sẽ hợp tác với Cohere, Google Cloud sẽ sử dụng cơ sở hạ tầng mạnh mẽ của mình để cung cấp năng lượng cho nền tảng Cohere và Cohere sẽ sử dụng TPU của Cloud để phát triển và triển khai các sản phẩm của mình.
Đáng chú ý, Cohere vừa huy động được 270 triệu đô la tài trợ cho Series C, biến nó thành một kỳ lân trị giá 2,2 tỷ đô la.
Khi ở Google, Jakob Uszkoreit đã giúp xây dựng nhóm hiểu ngôn ngữ cho Trợ lý Google và làm việc trên Google Dịch từ rất sớm.