Các cơ chế đằng sau những kết cục tồi tệ nhất

Vì sao đây không phải là một kịch bản duy nhất

“AI có thể giết chết tất cả mọi người” nén nhiều kiểu thất bại khác biệt về mặt cấu trúc thành một hình ảnh duy nhất. Sự nén đó hữu ích cho một tiêu đề và vô ích cho việc phòng ngừa, vì các biện pháp can thiệp kỹ thuật và chính sách giải quyết một cơ chế có thể ít tác dụng với cơ chế khác — chẳng hạn, các biện pháp kiểm soát đối với một lượt huấn luyện lớn, tự bản thân chúng không ngăn chặn được việc lạm dụng một mô hình đã được triển khai. Hơn 350 nhà nghiên cứu và giám đốc điều hành, bao gồm những người có liên kết với một số phòng thí nghiệm lớn, đã ký một tuyên bố một câu vào năm 2023 kêu gọi các nhà hoạch định chính sách coi rủi ro tuyệt chủng là ưu tiên toàn cầu. Nó ghi lại một lập trường được các người ký tên nổi bật nắm giữ; nó không đo lường xác suất của tổn hại:

Ba nhóm lớn

Báo cáo An toàn AI Quốc tế năm 2026 sử dụng ba nhóm lớn. Sử dụng ác ý là việc con người cố ý điều hướng năng lực AI vào tổn hại hàng loạt — đại dịch được thiết kế, tấn công hạ tầng, hoặc vũ khí tự động. Trục trặc bao gồm các thất bại về độ tin cậy và các kịch bản mất quyền kiểm soát tiềm năng, trong đó các hệ thống hoạt động ngoài tầm kiểm soát của bất kỳ ai. Rủi ro hệ thống phát sinh qua việc triển khai rộng rãi và sự tương tác thể chế, bao gồm sự tập trung, gián đoạn lao động và sự mất quyền lực dần dần của con người. Các loại có thể chồng lấp nhau, và độ mạnh của bằng chứng khác nhau giữa các cơ chế. Chủ tịch của báo cáo đã công khai nhấn mạnh về mất quyền kiểm soát:

Geoffrey Hinton cũng đã đưa ra một ước tính xác suất cá nhân. Đó là nhận định chuyên gia dưới sự bất định, không phải một tần suất đã đo lường được:

Chương này không làm gì