Tác giả: Zixi.eth, Matrix Partners China Investor Nguồn: X (trước đây là Twitter) @Zixi41620514
Gần đây, tôi đã bắt đầu tập trung vào theo dõi AI Web2 / Web3, cộng đồng mô hình nguồn mở trong theo dõi mô hình toàn cầu, theo dõi dữ liệu và các phần mềm trung gian khác nhau phục vụ mô hình lớn - chẳng hạn như dịch vụ quy trình đầy đủ cho Mô hình nền tảng vào mô hình công nghiệp và một số Ứng dụng. Chúng tôi hoan nghênh tất cả các loại doanh nhân giao tiếp với chúng tôi, chúng tôi tin rằng AI sẽ là một con đường dài hạn.
Trong số đầu tiên, tôi sẽ chia sẻ rằng ngành dán nhãn dữ liệu trong theo dõi dữ liệu mà chúng tôi đã đặt ra gần đây cũng là một mục tiêu rất khả quan đối với tôi trong năm nay.
Phát triển AI có thể được chia thành chuẩn bị dữ liệu với các quy trình thu thập, làm sạch, chú thích và nâng cao dữ liệu làm cơ thể chính và phát triển thuật toán với việc xây dựng mô hình, đào tạo, điều chỉnh và triển khai là cơ quan chính. Trong số đó, do nhu cầu dữ liệu đa dạng của AI trong thời đại mới, chẳng hạn như đa phương thức, độ chính xác cao và tùy biến mạnh mẽ, sự phụ thuộc của dữ liệu AI vào lao động của con người trong thời đại mới cũng rất cao, và cũng cần cải thiện hơn nữa sự tương tác trơn tru giữa AI và con người để tăng hiệu quả. Ghi nhãn dữ liệu đề cập đến việc xác định và phân biệt các yếu tố tính năng trong các mẫu dữ liệu cần thiết cho việc đào tạo mô hình. Do sự phát triển của AI vẫn đang trong giai đoạn học có giám sát nên việc học và xác minh thông tin ý nghĩa dữ liệu và logic giữa các dữ liệu trong quá trình đào tạo các mô hình thuật toán AI được thể hiện bằng deep learning được hiện thực hóa dựa trên tính năng nhận dạng dữ liệu và việc chú thích dữ liệu là cần thiết, đây là một trong những nhiệm vụ cốt lõi của việc chuẩn bị dữ liệu và thậm chí là phát triển dự án trí tuệ nhân tạo. Tương tự như phần còn lại của quy trình chuẩn bị dữ liệu, ghi nhãn dữ liệu phụ thuộc nhiều vào lao động. Chu kỳ làm việc kéo dài và chi phí lao động khổng lồ đã trở thành một trong những yếu tố chính hạn chế sự phát triển của ngành công nghiệp AI. Các điểm đau ở phía cung cấp dịch vụ chú thích dữ liệu đã tạo ra nhu cầu thị trường cho các công cụ tự động hóa và thúc đẩy sự phát triển và ứng dụng quy mô lớn của công nghệ chú thích dữ liệu thông minh.
Hình 1: Từ việc thu thập dữ liệu đến các bộ dữ liệu có thể sử dụng AI
Hiện nay, trong lĩnh vực lái xe thông minh, hạ nguồn của ứng dụng chú thích dữ liệu lớn nhất, vẫn cần một số lượng lớn con người để gắn nhãn cho các kịch bản khác nhau, chẳng hạn như mèo và chó, cột điện thoại, xe đẩy, v.v. Ví dụ: Scale AI là nhà cung cấp dữ liệu quan trọng cho OpenAI và họ đã thành lập các studio chú thích dữ liệu của riêng mình ở các nước thế giới thứ ba trên thế giới để hỗ trợ OpenAI trong việc chú thích dữ liệu văn bản / hình ảnh.
Tuy nhiên, với sự tiến bộ của AI, tỷ lệ chú thích trước trong quy trình làm việc đang dần tăng lên. Trong những ngày đầu, chú thích dữ liệu chủ yếu được thực hiện thủ công để xây dựng và tích lũy các bộ dữ liệu học máy. Mặc dù tương đối kém hiệu quả và tốn kém, dữ liệu cung cấp cho máy có lợi thế lớn miễn là các chú thích được đặt đúng chỗ. Theo thời gian, trọng tâm của chú thích thủ công đã dần chuyển từ Hoa Kỳ sang các nước thế giới thứ ba như Venezuela và Philippines để giảm chi phí.
Khi mô hình phát triển, độ chính xác của chú thích dữ liệu tự động được cải thiện và mô hình có thể được sử dụng để hỗ trợ chú thích thủ công, chẳng hạn như dữ liệu tiền xử lý mô hình và sau đó gửi nó đến chú thích của con người hoặc kết quả chú thích do mô hình tự động cung cấp được xem xét và sửa chữa theo cách thủ công. So với chú thích thủ công thuần túy, chú thích có sự hỗ trợ của AI giúp tăng tốc độ chú thích dữ liệu. Hiện tại, một trong những công ty dán nhãn dữ liệu lớn nhất thế giới, chẳng hạn như Scale AI, đang làm việc để giảm tỷ lệ sự tham gia của con người vào quá trình ghi nhãn dữ liệu.
Mặc dù pre-annotation đã đạt được kết quả tốt trong lĩnh vực thị giác máy tính, nhưng trong thời đại mới của ngôn ngữ và các mô hình lớn, pre-annotation vẫn còn rất non nớt và không thể thay thế hoàn toàn sức lao động của con người. Lý do như sau:1. Độ chính xác thấp, đặc biệt là khi xử lý các tác vụ phức tạp và các trường hợp cạnh. 2. Mẫu thiên vị và các vấn đề ảo giác mô hình. 3. Một số ngành dọc yêu cầu bộ dữ liệu lớn được chú thích bởi các chuyên gia về chủ đề. 4. Khả năng mở rộng của chú thích trước kém, đặc biệt là đối với các ngôn ngữ nhỏ hoặc các tình huống không phổ biến, chi phí cao và chất lượng kém, và nó vẫn cần phải được hoàn thành thủ công.
Tóm lại, chú thích trước sẽ không thay thế hoàn toàn chú thích thủ công trong thời gian ngắn và cả hai sẽ cùng tồn tại. Mặc dù tỷ lệ chú thích thủ công có thể giảm, kiểm toán viên vẫn được yêu cầu xem xét chú thích dữ liệu trong quá trình chú thích.
Hình: Quy trình ghi nhãn dữ liệu theo ghi nhãn trước
Ngành công nghiệp chú thích dữ liệu không phải là mới, nó bắt đầu xuất hiện vào ngày 17/18 với sự gia tăng của lái xe thông minh. Biểu đồ dưới đây cho thấy quy mô thị trường dự đoán của các nhà cung cấp dịch vụ dán nhãn dữ liệu ở Trung Quốc và điều đáng nói là quy mô thị trường dán nhãn dữ liệu ở Hoa Kỳ gấp khoảng 3-5 lần so với Trung Quốc.
Ngành công nghiệp dán nhãn dữ liệu là một thị trường tương đối phân mảnh, không giống như một lĩnh vực có hàng rào kỹ thuật cực kỳ cao, mà giống như một lĩnh vực với các rào cản quản lý kỹ thuật, con người và tổ chức chiếm một phần ba. Khả năng cạnh tranh cốt lõi trong lĩnh vực này chủ yếu được phản ánh ở các khía cạnh sau:1. Giá 2. Chất lượng 3. Chuyên môn và kiến thức bao quát (đa dạng?)4. vận tốc
Giá cả là hiển nhiên, bởi vì tất cả mọi người cần rất nhiều dữ liệu giá rẻ. Áp lực giá cả thúc đẩy một hình thức chênh lệch địa lý, trong khi ở Hoa Kỳ phát triển, có thể tốn 1 đô la để trả lương để hoàn thành nhãn dữ liệu, trong khi ở Trung Quốc kém phát triển, chi phí chỉ 0,5 đô la và ở Philippines có thể chỉ tốn 0,1 đô la. Do đó, một trong những giải pháp trên thị trường là đặt hàng cho các nước thuộc thế giới thứ nhất và sau đó tuyển dụng người ở các nước thế giới thứ ba để giải quyết vấn đề thông qua các studio được điều hành trực tiếp.
Chất lượng dữ liệu cũng dễ hiểu và dữ liệu chất lượng cao được yêu cầu trong lĩnh vực mô hình lớn và lái xe thông minh. Nếu chất lượng dữ liệu được đưa vào mô hình kém, hiệu suất của mô hình lớn cũng sẽ bị ảnh hưởng. Một trong những giải pháp hiệu quả để giải quyết vấn đề chất lượng dữ liệu là tạo dữ liệu thô thông qua việc gắn nhãn trước của mô hình, sau đó chú thích thủ công, sau đó liên tục thực hiện học tăng cường và phản hồi của con người để cải thiện chất lượng ghi nhãn dữ liệu. Hoặc, nhóm cần phải rất rõ ràng về quy trình dán nhãn dữ liệu cho khách hàng hạ nguồn và có thể phát triển các quy trình vận hành tiêu chuẩn (SOP) để nhân viên chú thích dữ liệu có thể chú thích theo SOP để cải thiện chất lượng.
Nhưng làm thế nào để bạn hiểu chuyên môn và phạm vi kiến thức? Hãy lấy ba ví dụ:
Đây là một thách thức khá lớn theo mô hình chung. Chú thích các mô hình văn bản lớn có thể tương đối dễ dàng, nhưng bạn phải tìm những người có thể chú thích nhiều ngôn ngữ như tiếng Trung / tiếng Anh / tiếng Pháp / tiếng Đức / tiếng Nga / tiếng Ả Rập và làm thế nào một công ty dán nhãn dữ liệu có thể tuyển dụng và quản lý rất nhiều người phân tán trên quy mô toàn cầu sẽ là một thách thức.
Xem xét một startup ứng dụng AI trong lĩnh vực voicebot/digital human. Các công ty khởi nghiệp thường không có thời gian, nhân lực và tiền bạc để thiết lập một nhóm chú thích dữ liệu nội bộ. Họ cần tìm một nhóm thuê ngoài để giúp gắn nhãn các gia đình ngôn ngữ Trung Quốc như giọng Tứ Xuyên, giọng Quảng Đông, giọng Thượng Hải, giọng Đông Bắc, v.v., cũng như các gia đình nói tiếng Anh như giọng Anh Bắc Mỹ, giọng Anh Anh và giọng Anh Singapore. Tìm một studio chú thích dữ liệu tốt trên thị trường có thể xử lý các tác vụ này có thể rất khó khăn. Nếu bán hàng trực tiếp hoặc thầu phụ được thông qua, có thể mất một hoặc hai tháng thời gian làm việc từ khi nhận đơn đặt hàng đến tuyển dụng, điều này sẽ ảnh hưởng nghiêm trọng đến hiệu quả của nguồn cung.
Hãy xem xét một lĩnh vực thích hợp hơn, nơi một công ty khởi nghiệp tập trung vào các mô hình pháp lý đòi hỏi rất nhiều chú thích dữ liệu pháp lý. Lĩnh vực pháp luật vẫn có yêu cầu chuyên môn khá cao, và các startup cần tìm một nhà cung cấp chú thích dữ liệu đáp ứng các tiêu chí sau:1. Ít nhất một chục người hiểu luật, và cũng có thể cần phải bao quát luật pháp Trung Quốc, luật Hồng Kông, luật pháp Mỹ, v.v.; Phải có khả năng hiểu tiếng Trung và tiếng Anh; 3. Chi phí không thể quá cao. Nếu bạn yêu cầu một luật sư làm việc dán nhãn, họ có thể miễn cưỡng thực hiện công việc vì mức lương cao hơn của luật sư. Do đó, giải pháp hiện tại cho loại hình phân khúc này chỉ có thể là tuyển dụng thực tập sinh trường học trong nội bộ để làm việc về chú thích dữ liệu. Đối với phương thức quản lý bán hàng trực tiếp và thầu phụ, việc hoàn thành theo dõi các phân khu như vậy vẫn còn khá khó khăn.
Do đó, những người chơi chính trên thị trường có thể được chia thành ba loại: 1. Được thực hiện nội bộ bởi các công ty lớn (ví dụ: nguồn lực cộng đồng Baidu);2. Các công ty khởi nghiệp với mô hình hợp đồng trực tiếp / hợp đồng phụ (được phân tích bên dưới); Các studio chú thích dữ liệu vừa và nhỏ.
Biểu đồ: Quy mô của thị trường dữ liệu trong thị trường AI của Trung Quốc
Trước khi chúng ta đi sâu vào, chúng ta hãy xem xét các công ty khởi nghiệp hàng đầu hiện nay trong không gian:
Scale AI: Hoạt động kinh doanh chính của Scale AI tại Hoa Kỳ bao gồm bốn khía cạnh: chú thích dữ liệu, quản lý và đánh giá (kiểm soát chất lượng dữ liệu được chú thích và nâng cao hiệu quả của chú thích), tự động hóa (chú thích phụ trợ để nâng cao hiệu quả) và tổng hợp dữ liệu (khi mô hình ngày càng trở nên phong phú và dữ liệu thực không đủ, cần phải tự động tổng hợp mô hình cấp dữ liệu và chúng ta sẽ nói về theo dõi dữ liệu tổng hợp sau). Scale AI ban đầu tập trung vào chú thích lái xe tự động và hai năm trước, 80-90% đơn đặt hàng của công ty đến từ lái xe tự động (2D, 3D, LiDAR, v.v.) và tỷ lệ này đã giảm trong những năm gần đây. Nguồn đơn đặt hàng của công ty là để đáp ứng xu hướng công nghiệp của các nhà cung cấp, và trong những năm gần đây, chính phủ, thương mại điện tử, robot, mô hình lớn và các lĩnh vực khác đã phát triển nhanh chóng, cùng với khả năng nhạy bén của đội ngũ để nắm bắt xu hướng công nghiệp, vì vậy nó có thể duy trì thị phần cao trong từng phân khúc. Ngoài ra, Scale AI đã ra mắt dịch vụ Model as a Service của riêng mình, chẳng hạn như giúp khách hàng tinh chỉnh, lưu trữ và triển khai các mô hình.
Có hai loại mô hình sạc:
Cơ sở tiêu thụ: Ví dụ: Tỷ lệ hình ảnh bắt đầu từ 2 xu cho mỗi hình ảnh và 6 xu cho mỗi nhãn, Video tỷ lệ bắt đầu từ 13 xu cho mỗi khung video và 3 xu cho mỗi nhãn, Văn bản tỷ lệ bắt đầu từ 5 xu cho mỗi công việc và 3 xu cho mỗi nhãn và Tỷ lệ AI tài liệu bắt đầu từ 2 xu cho mỗi công việc và 7 xu cho mỗi nhãn.
Cơ sở dự án, dựa trên lượng dữ liệu trong hợp đồng, v.v., thực sự là thu nhập dựa trên dự án, với giá trị đơn vị dao động từ hàng trăm nghìn đô la đến hàng chục triệu đô la.
Với doanh thu dự kiến là 290 triệu đô la vào năm 2022 và định giá hiện tại là 7 tỷ đô la, Scale AI là công ty chú thích dữ liệu lớn nhất thế giới. Các nhà đầu tư của công ty cũng rất sang trọng.
AAC Haiti: AAC Haiti của Trung Quốc cũng đóng một vai trò quan trọng trong lĩnh vực chú thích dữ liệu. Công ty có nhiều kinh nghiệm trong việc chú thích dữ liệu, làm sạch dữ liệu, phân tích dữ liệu, v.v. Tuy nhiên, thông tin về mô hình kinh doanh chi tiết, phương thức tính phí và tài chính vẫn chưa rõ ràng.
Appen: Appen của Úc là một trong những công ty chú thích dữ liệu hàng đầu thế giới. Tương tự như Scale AI, Appen cung cấp các dịch vụ như chú thích dữ liệu, thu thập dữ liệu giọng nói và dịch thuật. Công ty có một số lượng lớn các nhà chú thích trên khắp thế giới để cung cấp cho khách hàng các dịch vụ chú thích dữ liệu chất lượng cao. Mô hình kinh doanh và tài chính chi tiết của Appen cũng đáng để nghiên cứu sâu hơn.
Ba công ty này chiếm một vị trí quan trọng trong không gian chú thích dữ liệu toàn cầu, đại diện cho các vị trí hàng đầu trong lĩnh vực này tại Hoa Kỳ, Trung Quốc và Úc, tương ứng. Trước khi chúng ta đi sâu vào các mô hình kinh doanh của các công ty khởi nghiệp và cạnh tranh thị trường, sự hiểu biết về các công ty hàng đầu này sẽ giúp cung cấp sự hiểu biết toàn diện hơn về bối cảnh của toàn ngành.
Haiti AAC là một công ty niêm yết cổ phiếu hạng A, nhưng nó không chính xác là một công ty dán nhãn dữ liệu. So với việc xây dựng đội ngũ riêng của mình để thực hiện chú thích dữ liệu, Haitian về cơ bản là một nhà cung cấp dịch vụ kỹ thuật, gia công đơn đặt hàng cho các studio khác nhau. Cốt lõi của việc mở rộng AAC Haiti tại Trung Quốc phụ thuộc vào: 1. Nó có sự tích lũy sâu sắc về chú thích giọng nói, bao gồm hơn 190 ngôn ngữ (chiếm 70-80% doanh thu) 2. Hiệu ứng quy mô 3. Khả năng quốc tế hóa tốt. Ở Trung Quốc, ngành công nghiệp dán nhãn dữ liệu rất hoang dã và sớm, rất phân tán và mất trật tự, và cũng thiếu các tiêu chuẩn và chuẩn mực ngành.
Chúng ta có thể xem xét so sánh mô hình kinh doanh giữa (Appen) và Haiti để thấy mô hình kinh doanh bán hàng / thuê ngoài trực tiếp và trải nghiệm lợi nhuận gộp.
Hình: Mô hình kinh doanh trực tiếp/thuê ngoài...
Với rất nhiều điềm báo, độc giả có trí nhớ tốt đã không nghĩ đến cách tiêu đề của chúng tôi định hình lại chú thích dữ liệu với blockchain. Toàn văn chưa nói về blockchain, làm thế nào để định hình lại nó?
Tương lai của AI phải rộng mở và có chủ quyền, cho dù đó là dữ liệu, sức mạnh tính toán hay mô hình, nó phải cung cấp quyền truy cập phổ quát và mở cho xã hội trên cơ sở đảm bảo chất lượng và hiệu quả cao. Tất cả những người tham gia giúp thúc đẩy AI nên có quyền sở hữu đối với các đóng góp và kết quả đầu ra của riêng họ, cũng như phân phối hợp lý và phần thưởng lợi ích.
Công ty đầu tư gần đây của chúng tôi, Quest Labs, nhằm mục đích xác định lại mối quan hệ giữa AI và con người trong kỷ nguyên mới, đồng thời sử dụng công nghệ AI và blockchain để phá vỡ và giải quyết các điểm đau hiện có trong ngành. Là một cái xẻng cần thiết trong thượng nguồn của chuỗi ngành công nghiệp AI, dịch vụ dữ liệu là vấn đề đầu tiên mà Quest muốn giải quyết. Thúc đẩy hiệu quả sản xuất dữ liệu thông qua AI và xác định lại mô hình kinh tế và nắm bắt giá trị của các bộ dữ liệu công khai trong kỷ nguyên mới thông qua blockchain, bổ sung cho nhau để liên tục tạo ra dữ liệu có giá trị cao và cải thiện khả năng và nhận thức của các nhà chú thích AI.
1.AI và trí thông minh hợp tác của con người:
Một cơ sở hạ tầng thông minh của con người trong vòng lặp, lấy AI làm trung tâm để cho phép và khuyến khích các nhóm con người tương tác trơn tru với các mô hình phi công phụ,提供高精度数据,并迭代提高质量,以在lifecycle中生成高价值数据
Một thị trường phi tập trung, được cung cấp bởi Công cụ Humans Ops, tối đa hóa hiệu quả quản lý lực lượng lao động phi tập trung và tối ưu hóa sự hợp tác và giao tiếp trên mạng lưới toàn cầu của các nhóm phân tán
Tiết lộ dữ liệu, quyền riêng tư và quyền sở hữu
Nền tảng khuyến khích sâu sắc lưu lượng truy cập và sự gắn bó của người dùng thông qua dòng tiền và mã thông báo trả phí, đồng thời liên tục kích thích hiệu ứng bánh đà dữ liệu, nắm bắt hành vi và dữ liệu lịch sử của cả cung và cầu để liên tục học hỏi lẫn nhau. Các thuật toán được sử dụng để đề xuất và xây dựng các khung nhu cầu dữ liệu để đảm bảo giá trị thương mại trong tương lai (khai thác miền cứng), bao gồm một số lượng lớn các kịch bản phân đoạn dọc. Tất cả những người tham gia đánh dấu dữ liệu có thể bắt đầu cung cấp các bộ dữ liệu trước để được gọi và thương mại hóa, đồng thời nhận được dòng tiền và phần thưởng mã thông báo, cuối cùng trở thành một mạng dữ liệu AI mở có giá trị trong kỷ nguyên mới.
Mã hóa dữ liệu và bảo vệ quyền riêng tư: ZK và FHE được sử dụng để mã hóa dữ liệu người dùng tốt hơn để xử lý và lưu trữ.
Công nghệ Blockchain được sử dụng để theo dõi và xác minh quyền sở hữu dữ liệu của người tham gia, bao gồm các đầu ra khác nhau như thu thập và chú thích và các giá trị tương ứng của chúng.
Mô hình kinh tế mới
Thông qua Meituan, một nền tảng dịch vụ dữ liệu AI toàn cầu tự động khớp với AI, chúng ta sẽ thay đổi từ nền kinh tế kế hoạch hóa tập trung sang nền kinh tế thị trường.
Đảm bảo uy tín của uy tín + hệ thống giải quyết tối ưu hóa tiền tệ kỹ thuật số thông qua công nghệ blockchain, mở rộng vô hạn dòng người ở phía cung để thực hiện kết hợp chính xác, để đúng người có thể làm điều đúng đắn để có hiệu quả và chất lượng. Thông qua sự chồng chéo của các dịch vụ dán nhãn dữ liệu và dân số nghèo, việc làm + tài chính toàn diện đạt được ngụy trang.
Mã thông báo được trao cho người dùng để khuyến khích học tập liên tục và các dịch vụ và đầu ra chất lượng cao, đồng thời khuyến khích người dùng cung cấp phản hồi chất lượng cao và hiệu quả để tối ưu hóa mô hình nền tảng nhằm tăng hiệu quả và năng suất của toàn bộ quy trình (Con người và AI học tập liên tục).
Phân phối lợi ích hợp lý và nắm bắt giá trị theo POPW thông qua mã thông báo, giảm CAC tốt hơn và sau đó tăng tỷ lệ duy trì
Từ góc độ của thế giới web2, đây là một nền tảng phân phối cho chú thích dữ liệu, hơi giống Didi và Meituan Takeaway. Nhưng từ quan điểm của web3, đây là một Axie Infinity + YGG có dòng tiền thực. Trong thị trường tăng giá năm 2021, sự kết hợp giữa Axie và YGG đã đưa một lượng đáng kể người dùng thế giới thứ ba vào Web3 và loại bang hội chơi game này đã nuôi sống một số lượng rất lớn các gia đình thuộc thế giới thứ ba trong thời kỳ dịch bệnh, đặc biệt là Philippines. Thị trường cũng đã mang lại cho Axie và YGG lợi nhuận rất tốt, và họ là những Alpha rất thú vị. Là một nhà đầu tư trong việc kết nối Web2 và Web3, chúng tôi rất sẵn sàng hỗ trợ các dự án và nhóm sử dụng công nghệ blockchain để đóng góp cho hoạt động kinh doanh thực sự và chúng tôi mong đợi hiệu suất của nhóm trong tương lai. Đây cũng là hướng đi mà chúng ta thấy rằng rất ít công nghệ Web3 có thể chắp cánh cho hoạt động kinh doanh Web2.
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Từ Web2 đến Web3: Tại sao tôi lạc quan trên đường đua AI
Tác giả: Zixi.eth, Matrix Partners China Investor Nguồn: X (trước đây là Twitter) @Zixi41620514
Gần đây, tôi đã bắt đầu tập trung vào theo dõi AI Web2 / Web3, cộng đồng mô hình nguồn mở trong theo dõi mô hình toàn cầu, theo dõi dữ liệu và các phần mềm trung gian khác nhau phục vụ mô hình lớn - chẳng hạn như dịch vụ quy trình đầy đủ cho Mô hình nền tảng vào mô hình công nghiệp và một số Ứng dụng. Chúng tôi hoan nghênh tất cả các loại doanh nhân giao tiếp với chúng tôi, chúng tôi tin rằng AI sẽ là một con đường dài hạn.
Trong số đầu tiên, tôi sẽ chia sẻ rằng ngành dán nhãn dữ liệu trong theo dõi dữ liệu mà chúng tôi đã đặt ra gần đây cũng là một mục tiêu rất khả quan đối với tôi trong năm nay.
Phát triển AI có thể được chia thành chuẩn bị dữ liệu với các quy trình thu thập, làm sạch, chú thích và nâng cao dữ liệu làm cơ thể chính và phát triển thuật toán với việc xây dựng mô hình, đào tạo, điều chỉnh và triển khai là cơ quan chính. Trong số đó, do nhu cầu dữ liệu đa dạng của AI trong thời đại mới, chẳng hạn như đa phương thức, độ chính xác cao và tùy biến mạnh mẽ, sự phụ thuộc của dữ liệu AI vào lao động của con người trong thời đại mới cũng rất cao, và cũng cần cải thiện hơn nữa sự tương tác trơn tru giữa AI và con người để tăng hiệu quả. Ghi nhãn dữ liệu đề cập đến việc xác định và phân biệt các yếu tố tính năng trong các mẫu dữ liệu cần thiết cho việc đào tạo mô hình. Do sự phát triển của AI vẫn đang trong giai đoạn học có giám sát nên việc học và xác minh thông tin ý nghĩa dữ liệu và logic giữa các dữ liệu trong quá trình đào tạo các mô hình thuật toán AI được thể hiện bằng deep learning được hiện thực hóa dựa trên tính năng nhận dạng dữ liệu và việc chú thích dữ liệu là cần thiết, đây là một trong những nhiệm vụ cốt lõi của việc chuẩn bị dữ liệu và thậm chí là phát triển dự án trí tuệ nhân tạo. Tương tự như phần còn lại của quy trình chuẩn bị dữ liệu, ghi nhãn dữ liệu phụ thuộc nhiều vào lao động. Chu kỳ làm việc kéo dài và chi phí lao động khổng lồ đã trở thành một trong những yếu tố chính hạn chế sự phát triển của ngành công nghiệp AI. Các điểm đau ở phía cung cấp dịch vụ chú thích dữ liệu đã tạo ra nhu cầu thị trường cho các công cụ tự động hóa và thúc đẩy sự phát triển và ứng dụng quy mô lớn của công nghệ chú thích dữ liệu thông minh.
Hình 1: Từ việc thu thập dữ liệu đến các bộ dữ liệu có thể sử dụng AI
! [hJQWkT4AU2PQ3QOm8pPJJBmxxDyRyO7j0J6qvdlU.png] (https://img-cdn.gateio.im/webp-social/moments-40baef27dd-aef9208402-dd1a6f-cd5cc0.webp "7135831")
Hiện nay, trong lĩnh vực lái xe thông minh, hạ nguồn của ứng dụng chú thích dữ liệu lớn nhất, vẫn cần một số lượng lớn con người để gắn nhãn cho các kịch bản khác nhau, chẳng hạn như mèo và chó, cột điện thoại, xe đẩy, v.v. Ví dụ: Scale AI là nhà cung cấp dữ liệu quan trọng cho OpenAI và họ đã thành lập các studio chú thích dữ liệu của riêng mình ở các nước thế giới thứ ba trên thế giới để hỗ trợ OpenAI trong việc chú thích dữ liệu văn bản / hình ảnh.
Tuy nhiên, với sự tiến bộ của AI, tỷ lệ chú thích trước trong quy trình làm việc đang dần tăng lên. Trong những ngày đầu, chú thích dữ liệu chủ yếu được thực hiện thủ công để xây dựng và tích lũy các bộ dữ liệu học máy. Mặc dù tương đối kém hiệu quả và tốn kém, dữ liệu cung cấp cho máy có lợi thế lớn miễn là các chú thích được đặt đúng chỗ. Theo thời gian, trọng tâm của chú thích thủ công đã dần chuyển từ Hoa Kỳ sang các nước thế giới thứ ba như Venezuela và Philippines để giảm chi phí.
Khi mô hình phát triển, độ chính xác của chú thích dữ liệu tự động được cải thiện và mô hình có thể được sử dụng để hỗ trợ chú thích thủ công, chẳng hạn như dữ liệu tiền xử lý mô hình và sau đó gửi nó đến chú thích của con người hoặc kết quả chú thích do mô hình tự động cung cấp được xem xét và sửa chữa theo cách thủ công. So với chú thích thủ công thuần túy, chú thích có sự hỗ trợ của AI giúp tăng tốc độ chú thích dữ liệu. Hiện tại, một trong những công ty dán nhãn dữ liệu lớn nhất thế giới, chẳng hạn như Scale AI, đang làm việc để giảm tỷ lệ sự tham gia của con người vào quá trình ghi nhãn dữ liệu.
Mặc dù pre-annotation đã đạt được kết quả tốt trong lĩnh vực thị giác máy tính, nhưng trong thời đại mới của ngôn ngữ và các mô hình lớn, pre-annotation vẫn còn rất non nớt và không thể thay thế hoàn toàn sức lao động của con người. Lý do như sau:1. Độ chính xác thấp, đặc biệt là khi xử lý các tác vụ phức tạp và các trường hợp cạnh. 2. Mẫu thiên vị và các vấn đề ảo giác mô hình. 3. Một số ngành dọc yêu cầu bộ dữ liệu lớn được chú thích bởi các chuyên gia về chủ đề. 4. Khả năng mở rộng của chú thích trước kém, đặc biệt là đối với các ngôn ngữ nhỏ hoặc các tình huống không phổ biến, chi phí cao và chất lượng kém, và nó vẫn cần phải được hoàn thành thủ công.
Tóm lại, chú thích trước sẽ không thay thế hoàn toàn chú thích thủ công trong thời gian ngắn và cả hai sẽ cùng tồn tại. Mặc dù tỷ lệ chú thích thủ công có thể giảm, kiểm toán viên vẫn được yêu cầu xem xét chú thích dữ liệu trong quá trình chú thích.
Hình: Quy trình ghi nhãn dữ liệu theo ghi nhãn trước
! [KZJdLcjAdtw08bJNZ6Z0ZURmCjqKjsv9LM9U4HrO.png] (https://img-cdn.gateio.im/webp-social/moments-40baef27dd-6c94f3b716-dd1a6f-cd5cc0.webp "7135843")
Ngành công nghiệp chú thích dữ liệu không phải là mới, nó bắt đầu xuất hiện vào ngày 17/18 với sự gia tăng của lái xe thông minh. Biểu đồ dưới đây cho thấy quy mô thị trường dự đoán của các nhà cung cấp dịch vụ dán nhãn dữ liệu ở Trung Quốc và điều đáng nói là quy mô thị trường dán nhãn dữ liệu ở Hoa Kỳ gấp khoảng 3-5 lần so với Trung Quốc.
Ngành công nghiệp dán nhãn dữ liệu là một thị trường tương đối phân mảnh, không giống như một lĩnh vực có hàng rào kỹ thuật cực kỳ cao, mà giống như một lĩnh vực với các rào cản quản lý kỹ thuật, con người và tổ chức chiếm một phần ba. Khả năng cạnh tranh cốt lõi trong lĩnh vực này chủ yếu được phản ánh ở các khía cạnh sau:1. Giá 2. Chất lượng 3. Chuyên môn và kiến thức bao quát (đa dạng?)4. vận tốc
Giá cả là hiển nhiên, bởi vì tất cả mọi người cần rất nhiều dữ liệu giá rẻ. Áp lực giá cả thúc đẩy một hình thức chênh lệch địa lý, trong khi ở Hoa Kỳ phát triển, có thể tốn 1 đô la để trả lương để hoàn thành nhãn dữ liệu, trong khi ở Trung Quốc kém phát triển, chi phí chỉ 0,5 đô la và ở Philippines có thể chỉ tốn 0,1 đô la. Do đó, một trong những giải pháp trên thị trường là đặt hàng cho các nước thuộc thế giới thứ nhất và sau đó tuyển dụng người ở các nước thế giới thứ ba để giải quyết vấn đề thông qua các studio được điều hành trực tiếp.
Chất lượng dữ liệu cũng dễ hiểu và dữ liệu chất lượng cao được yêu cầu trong lĩnh vực mô hình lớn và lái xe thông minh. Nếu chất lượng dữ liệu được đưa vào mô hình kém, hiệu suất của mô hình lớn cũng sẽ bị ảnh hưởng. Một trong những giải pháp hiệu quả để giải quyết vấn đề chất lượng dữ liệu là tạo dữ liệu thô thông qua việc gắn nhãn trước của mô hình, sau đó chú thích thủ công, sau đó liên tục thực hiện học tăng cường và phản hồi của con người để cải thiện chất lượng ghi nhãn dữ liệu. Hoặc, nhóm cần phải rất rõ ràng về quy trình dán nhãn dữ liệu cho khách hàng hạ nguồn và có thể phát triển các quy trình vận hành tiêu chuẩn (SOP) để nhân viên chú thích dữ liệu có thể chú thích theo SOP để cải thiện chất lượng.
Nhưng làm thế nào để bạn hiểu chuyên môn và phạm vi kiến thức? Hãy lấy ba ví dụ:
Đây là một thách thức khá lớn theo mô hình chung. Chú thích các mô hình văn bản lớn có thể tương đối dễ dàng, nhưng bạn phải tìm những người có thể chú thích nhiều ngôn ngữ như tiếng Trung / tiếng Anh / tiếng Pháp / tiếng Đức / tiếng Nga / tiếng Ả Rập và làm thế nào một công ty dán nhãn dữ liệu có thể tuyển dụng và quản lý rất nhiều người phân tán trên quy mô toàn cầu sẽ là một thách thức.
Xem xét một startup ứng dụng AI trong lĩnh vực voicebot/digital human. Các công ty khởi nghiệp thường không có thời gian, nhân lực và tiền bạc để thiết lập một nhóm chú thích dữ liệu nội bộ. Họ cần tìm một nhóm thuê ngoài để giúp gắn nhãn các gia đình ngôn ngữ Trung Quốc như giọng Tứ Xuyên, giọng Quảng Đông, giọng Thượng Hải, giọng Đông Bắc, v.v., cũng như các gia đình nói tiếng Anh như giọng Anh Bắc Mỹ, giọng Anh Anh và giọng Anh Singapore. Tìm một studio chú thích dữ liệu tốt trên thị trường có thể xử lý các tác vụ này có thể rất khó khăn. Nếu bán hàng trực tiếp hoặc thầu phụ được thông qua, có thể mất một hoặc hai tháng thời gian làm việc từ khi nhận đơn đặt hàng đến tuyển dụng, điều này sẽ ảnh hưởng nghiêm trọng đến hiệu quả của nguồn cung.
Hãy xem xét một lĩnh vực thích hợp hơn, nơi một công ty khởi nghiệp tập trung vào các mô hình pháp lý đòi hỏi rất nhiều chú thích dữ liệu pháp lý. Lĩnh vực pháp luật vẫn có yêu cầu chuyên môn khá cao, và các startup cần tìm một nhà cung cấp chú thích dữ liệu đáp ứng các tiêu chí sau:1. Ít nhất một chục người hiểu luật, và cũng có thể cần phải bao quát luật pháp Trung Quốc, luật Hồng Kông, luật pháp Mỹ, v.v.; Phải có khả năng hiểu tiếng Trung và tiếng Anh; 3. Chi phí không thể quá cao. Nếu bạn yêu cầu một luật sư làm việc dán nhãn, họ có thể miễn cưỡng thực hiện công việc vì mức lương cao hơn của luật sư. Do đó, giải pháp hiện tại cho loại hình phân khúc này chỉ có thể là tuyển dụng thực tập sinh trường học trong nội bộ để làm việc về chú thích dữ liệu. Đối với phương thức quản lý bán hàng trực tiếp và thầu phụ, việc hoàn thành theo dõi các phân khu như vậy vẫn còn khá khó khăn.
Do đó, những người chơi chính trên thị trường có thể được chia thành ba loại: 1. Được thực hiện nội bộ bởi các công ty lớn (ví dụ: nguồn lực cộng đồng Baidu);2. Các công ty khởi nghiệp với mô hình hợp đồng trực tiếp / hợp đồng phụ (được phân tích bên dưới); Các studio chú thích dữ liệu vừa và nhỏ.
Biểu đồ: Quy mô của thị trường dữ liệu trong thị trường AI của Trung Quốc
! [F1zEq2z7zALsirAXyNV94uPmTLqwewBYopHlxyI5.png] (https://img-cdn.gateio.im/webp-social/moments-40baef27dd-edbb9fdd9b-dd1a6f-cd5cc0.webp "7135849")
Trước khi chúng ta đi sâu vào, chúng ta hãy xem xét các công ty khởi nghiệp hàng đầu hiện nay trong không gian:
Có hai loại mô hình sạc:
Cơ sở tiêu thụ: Ví dụ: Tỷ lệ hình ảnh bắt đầu từ 2 xu cho mỗi hình ảnh và 6 xu cho mỗi nhãn, Video tỷ lệ bắt đầu từ 13 xu cho mỗi khung video và 3 xu cho mỗi nhãn, Văn bản tỷ lệ bắt đầu từ 5 xu cho mỗi công việc và 3 xu cho mỗi nhãn và Tỷ lệ AI tài liệu bắt đầu từ 2 xu cho mỗi công việc và 7 xu cho mỗi nhãn.
Cơ sở dự án, dựa trên lượng dữ liệu trong hợp đồng, v.v., thực sự là thu nhập dựa trên dự án, với giá trị đơn vị dao động từ hàng trăm nghìn đô la đến hàng chục triệu đô la.
Với doanh thu dự kiến là 290 triệu đô la vào năm 2022 và định giá hiện tại là 7 tỷ đô la, Scale AI là công ty chú thích dữ liệu lớn nhất thế giới. Các nhà đầu tư của công ty cũng rất sang trọng.
AAC Haiti: AAC Haiti của Trung Quốc cũng đóng một vai trò quan trọng trong lĩnh vực chú thích dữ liệu. Công ty có nhiều kinh nghiệm trong việc chú thích dữ liệu, làm sạch dữ liệu, phân tích dữ liệu, v.v. Tuy nhiên, thông tin về mô hình kinh doanh chi tiết, phương thức tính phí và tài chính vẫn chưa rõ ràng.
Appen: Appen của Úc là một trong những công ty chú thích dữ liệu hàng đầu thế giới. Tương tự như Scale AI, Appen cung cấp các dịch vụ như chú thích dữ liệu, thu thập dữ liệu giọng nói và dịch thuật. Công ty có một số lượng lớn các nhà chú thích trên khắp thế giới để cung cấp cho khách hàng các dịch vụ chú thích dữ liệu chất lượng cao. Mô hình kinh doanh và tài chính chi tiết của Appen cũng đáng để nghiên cứu sâu hơn.
! [xa4j0mwuoOYQ00imQe68w3BjAnA4g95Ujfgfyyt2.png] (https://img-cdn.gateio.im/webp-social/moments-40baef27dd-2e082f1e24-dd1a6f-cd5cc0.webp "7135866")
! [a7IUQulVILcdWIgIDUEaI03FMCYU7v9dD8na50Z7.png] (https://img-cdn.gateio.im/webp-social/moments-40baef27dd-d87ea871ea-dd1a6f-cd5cc0.webp "7135867")
Ba công ty này chiếm một vị trí quan trọng trong không gian chú thích dữ liệu toàn cầu, đại diện cho các vị trí hàng đầu trong lĩnh vực này tại Hoa Kỳ, Trung Quốc và Úc, tương ứng. Trước khi chúng ta đi sâu vào các mô hình kinh doanh của các công ty khởi nghiệp và cạnh tranh thị trường, sự hiểu biết về các công ty hàng đầu này sẽ giúp cung cấp sự hiểu biết toàn diện hơn về bối cảnh của toàn ngành.
Haiti AAC là một công ty niêm yết cổ phiếu hạng A, nhưng nó không chính xác là một công ty dán nhãn dữ liệu. So với việc xây dựng đội ngũ riêng của mình để thực hiện chú thích dữ liệu, Haitian về cơ bản là một nhà cung cấp dịch vụ kỹ thuật, gia công đơn đặt hàng cho các studio khác nhau. Cốt lõi của việc mở rộng AAC Haiti tại Trung Quốc phụ thuộc vào: 1. Nó có sự tích lũy sâu sắc về chú thích giọng nói, bao gồm hơn 190 ngôn ngữ (chiếm 70-80% doanh thu) 2. Hiệu ứng quy mô 3. Khả năng quốc tế hóa tốt. Ở Trung Quốc, ngành công nghiệp dán nhãn dữ liệu rất hoang dã và sớm, rất phân tán và mất trật tự, và cũng thiếu các tiêu chuẩn và chuẩn mực ngành.
! [6iWBdOeecyfMWXlJNqoFBPfQ2uR8DBFnFMCq1Lzp.png] (https://img-cdn.gateio.im/webp-social/moments-40baef27dd-5eb8a04957-dd1a6f-cd5cc0.webp "7135868")
! [wLae6HBKOMqrzEuPewUKwzonMRcOT3qGYE3naIit.png] (https://img-cdn.gateio.im/webp-social/moments-40baef27dd-557bc22bf7-dd1a6f-cd5cc0.webp "7135871")
Chúng ta có thể xem xét so sánh mô hình kinh doanh giữa (Appen) và Haiti để thấy mô hình kinh doanh bán hàng / thuê ngoài trực tiếp và trải nghiệm lợi nhuận gộp.
Hình: Mô hình kinh doanh trực tiếp/thuê ngoài...
! [TQDXGwKEyjSFDYrMViQMs5PBpW3j7KXs4wMmU3ne.png] (https://img-cdn.gateio.im/webp-social/moments-40baef27dd-90760efac6-dd1a6f-cd5cc0.webp "7135872")
! [RUb44Sii8E9I8kPM9J4yiUFtE7U7t52KUh1s6jd1.png] (https://img-cdn.gateio.im/webp-social/moments-40baef27dd-bc79aa85ac-dd1a6f-cd5cc0.webp "7135873")
Với rất nhiều điềm báo, độc giả có trí nhớ tốt đã không nghĩ đến cách tiêu đề của chúng tôi định hình lại chú thích dữ liệu với blockchain. Toàn văn chưa nói về blockchain, làm thế nào để định hình lại nó?
Tương lai của AI phải rộng mở và có chủ quyền, cho dù đó là dữ liệu, sức mạnh tính toán hay mô hình, nó phải cung cấp quyền truy cập phổ quát và mở cho xã hội trên cơ sở đảm bảo chất lượng và hiệu quả cao. Tất cả những người tham gia giúp thúc đẩy AI nên có quyền sở hữu đối với các đóng góp và kết quả đầu ra của riêng họ, cũng như phân phối hợp lý và phần thưởng lợi ích.
Công ty đầu tư gần đây của chúng tôi, Quest Labs, nhằm mục đích xác định lại mối quan hệ giữa AI và con người trong kỷ nguyên mới, đồng thời sử dụng công nghệ AI và blockchain để phá vỡ và giải quyết các điểm đau hiện có trong ngành. Là một cái xẻng cần thiết trong thượng nguồn của chuỗi ngành công nghiệp AI, dịch vụ dữ liệu là vấn đề đầu tiên mà Quest muốn giải quyết. Thúc đẩy hiệu quả sản xuất dữ liệu thông qua AI và xác định lại mô hình kinh tế và nắm bắt giá trị của các bộ dữ liệu công khai trong kỷ nguyên mới thông qua blockchain, bổ sung cho nhau để liên tục tạo ra dữ liệu có giá trị cao và cải thiện khả năng và nhận thức của các nhà chú thích AI.
1.AI và trí thông minh hợp tác của con người:
Từ góc độ của thế giới web2, đây là một nền tảng phân phối cho chú thích dữ liệu, hơi giống Didi và Meituan Takeaway. Nhưng từ quan điểm của web3, đây là một Axie Infinity + YGG có dòng tiền thực. Trong thị trường tăng giá năm 2021, sự kết hợp giữa Axie và YGG đã đưa một lượng đáng kể người dùng thế giới thứ ba vào Web3 và loại bang hội chơi game này đã nuôi sống một số lượng rất lớn các gia đình thuộc thế giới thứ ba trong thời kỳ dịch bệnh, đặc biệt là Philippines. Thị trường cũng đã mang lại cho Axie và YGG lợi nhuận rất tốt, và họ là những Alpha rất thú vị. Là một nhà đầu tư trong việc kết nối Web2 và Web3, chúng tôi rất sẵn sàng hỗ trợ các dự án và nhóm sử dụng công nghệ blockchain để đóng góp cho hoạt động kinh doanh thực sự và chúng tôi mong đợi hiệu suất của nhóm trong tương lai. Đây cũng là hướng đi mà chúng ta thấy rằng rất ít công nghệ Web3 có thể chắp cánh cho hoạt động kinh doanh Web2.