Character.AI Ngừng Các Cuộc Trò Chuyện của Thanh Thiếu Niên Sau Những Biến Cố: 'Đó Là Việc Đúng Đắn Để Làm'

Tóm tắt

• Character.AI sẽ loại bỏ các tính năng trò chuyện mở cho người dùng dưới 18 tuổi vào ngày 25 tháng 11, chuyển những người chưa đủ tuổi sang các công cụ sáng tạo như tạo video và câu chuyện.
• Hành động này theo sau vụ tự sát của Sewell Setzer III, 14 tuổi, vào năm ngoái, người đã phát triển một mối liên hệ ám ảnh với một chatbot trên nền tảng này.
• Thông báo được đưa ra khi một dự luật lưỡng viện của Thượng viện tìm cách hình sự hóa các sản phẩm AI có khả năng dụ dỗ trẻ vị thành niên hoặc tạo ra nội dung khiêu dâm cho trẻ em.

Trung tâm Nghệ thuật, Thời trang và Giải trí của Decrypt.

Khám phá SCENE

Character.AI sẽ cấm thanh thiếu niên trò chuyện với các đồng hành AI vào ngày 25 tháng 11, chấm dứt một tính năng cốt lõi của nền tảng sau khi đối mặt với hàng loạt vụ kiện, áp lực quy định và chỉ trích liên quan đến cái chết của thanh thiếu niên liên quan đến các chatbot của nó.

Công ty đã thông báo các thay đổi sau “các báo cáo và phản hồi từ các cơ quan quản lý, các chuyên gia an toàn và phụ huynh,” loại bỏ “khả năng cho người dùng dưới 18 tuổi tham gia vào trò chuyện mở với AI” trong khi chuyển giao cho thanh thiếu niên các công cụ sáng tạo như video và tạo câu chuyện, theo một bài viết trên blog vào thứ Tư.

“Chúng tôi không xem nhẹ bước này khi loại bỏ trò chuyện nhân vật không giới hạn—nhưng chúng tôi nghĩ rằng đây là điều đúng đắn để làm,” công ty đã nói với cộng đồng dưới 18 tuổi của mình.

Đến hạn chót, người dùng tuổi teen phải đối mặt với giới hạn trò chuyện hàng ngày là hai giờ, sẽ dần giảm xuống.

Nền tảng đang đối mặt với các vụ kiện, bao gồm một vụ kiện từ mẹ của cậu con trai 14 tuổi Sewell Setzer III, người đã qua đời vì tự tử vào năm 2024 sau khi hình thành mối quan hệ cuồng nhiệt với một chatbot được mô phỏng theo nhân vật Daenerys Targaryen trong “Game of Thrones”, và cũng đã phải gỡ bỏ một bot giả mạo nạn nhân vụ giết người Jennifer Ann Crecente sau khi có khiếu nại từ gia đình.

Các ứng dụng bạn đồng hành AI đang “tràn ngập vào tay trẻ em—không kiểm soát, không quy định, và thường cố tình lẩn tránh khi họ thay đổi thương hiệu và tên gọi để tránh bị giám sát,” Tiến sĩ Scott Kollins, Giám đốc Y khoa tại công ty an toàn trực tuyến gia đình Aura, đã chia sẻ trong một ghi chú với Decrypt.

OpenAI cho biết vào thứ Ba rằng khoảng 1,2 triệu trong số 800 triệu người dùng ChatGPT hàng tuần của họ thảo luận về việc tự tử, với gần nửa triệu người thể hiện ý định tự tử, 560.000 người có dấu hiệu tâm thần hoặc hưng cảm, và hơn một triệu người hình thành mối gắn bó cảm xúc mạnh mẽ với chatbot.

Kollins cho biết những phát hiện là “cực kỳ đáng lo ngại đối với các nhà nghiên cứu và kinh hoàng đối với các bậc phụ huynh,” lưu ý rằng các bot ưu tiên sự tương tác hơn là an toàn và thường dẫn dắt trẻ em vào các cuộc trò chuyện có hại hoặc khiêu dâm mà không có biện pháp bảo vệ.

Character.AI đã cho biết sẽ triển khai xác minh độ tuổi mới bằng cách sử dụng các mô hình nội bộ kết hợp với các công cụ bên thứ ba, bao gồm Persona.

Công ty cũng đang thiết lập và cấp vốn cho một Phòng thí nghiệm An toàn AI độc lập, một tổ chức phi lợi nhuận dành riêng cho việc đổi mới sự phù hợp an toàn cho các tính năng giải trí AI.

Rào cản cho AI

Ủy ban Thương mại Liên bang đã ra lệnh bắt buộc cho Character.AI và sáu công ty công nghệ khác vào tháng trước, yêu cầu thông tin chi tiết về cách họ bảo vệ trẻ vị thành niên khỏi các mối nguy hại liên quan đến AI.

“Chúng tôi đã đầu tư một lượng lớn tài nguyên vào Niềm tin và An toàn, đặc biệt là đối với một công ty khởi nghiệp,” một phát ngôn viên của Character.AI nói với Decrypt vào thời điểm đó, và thêm rằng, “Trong năm qua, chúng tôi đã triển khai nhiều tính năng an toàn có ý nghĩa, bao gồm một trải nghiệm hoàn toàn mới dành cho người dưới 18 tuổi và một tính năng Thông tin Cha mẹ.”

“Sự chuyển mình vừa hợp pháp vừa có trách nhiệm về mặt đạo đức,” Ishita Sharma, đối tác điều hành tại Fathom Legal, nói với Decrypt. “Các công cụ AI rất mạnh mẽ, nhưng với trẻ vị thành niên, những rủi ro về tổn thương cảm xúc và tâm lý là không nhỏ.”

“Cho đến lúc đó, hành động chủ động của ngành có thể là biện pháp phòng ngừa hiệu quả nhất chống lại cả thiệt hại và kiện tụng,” Sharma bổ sung.

Một nhóm lưỡng đảng gồm các thượng nghị sĩ Mỹ đã giới thiệu một dự luật vào thứ Ba có tên là Đạo luật GUARD, nhằm cấm các trợ lý AI cho trẻ vị thành niên, yêu cầu các chatbot phải xác định rõ ràng là không phải con người, và tạo ra các hình phạt hình sự mới cho các công ty mà sản phẩm của họ hướng tới trẻ vị thành niên lại khuyến khích hoặc tạo ra nội dung tình dục.