Những kết cục tồi tệ nhất thực sự sẽ trông như thế nào

Vì sao chương này tồn tại

Một cẩm nang chuẩn bị chỉ mô tả cách việc phòng ngừa thành công đang âm thầm đưa ra một giả định mà nó không bao giờ biện minh. Chương 07 đã liệt kê các cơ chế mà qua đó AI tiên tiến có thể gây ra tổn hại hàng loạt hoặc ở quy mô văn minh. Chương này đặt câu hỏi điều gì sẽ xảy ra nếu một trong số đó thành công — một sự kiện không thể khôi phục là gì, nó sẽ khác với một thảm họa có thể sống sót ra sao, sự sụp đổ và phục hồi thực sự liên quan đến điều gì, và những lựa chọn nào còn lại cho những người sống qua hậu quả. Điểm mấu chốt không phải là sự phô trương. Đó là vì “rủi ro tuyệt chủng” và “sụp đổ” thường được viện dẫn như những khẩu hiệu, và người ta không thể lập kế hoạch chống lại các khẩu hiệu.

Tuyên bố về mức độ nghiêm trọng đằng sau phần lớn chủ đề của chương này ngắn gọn và được ký bởi hơn 350 nhà nghiên cứu và giám đốc điều hành, bao gồm những người có liên kết với một số phòng thí nghiệm lớn:

Geoffrey Hinton đã đưa ra một con số cá nhân về rủi ro này. Đó là nhận định chuyên gia dưới sự bất định, không phải một tần suất đã đo lường được — và sự bất đồng rộng rãi giữa các chuyên gia tự nó cũng được xem xét trong chương này:

Ba nhánh của sự thất bại

Các trang trong chương này sắp xếp các trường hợp tồi tệ nhất thành ba kết cục khác biệt về mặt cấu trúc, vì chúng đòi hỏi các phản ứng khác nhau. Tuyệt chủng và cận tuyệt chủng bao gồm những gì phân biệt một sự kiện không thể khôi phục với một thảm họa chỉ đơn thuần là nghiêm trọng, và các sự kiện như vậy sẽ có khả năng diễn ra như thế nào. Sụp đổ và phục hồi bao gồm vùng trung gian mà hầu hết mọi người hình dung ít rõ ràng nhất: một nền văn minh bị lùi lại hàng thập kỷ hoặc hàng thế kỷ, và điều gì quyết định việc nó có phục hồi hay không. Cuộc sống dưới sự mất quyền kiểm soát bao gồm trường hợp nhân loại sống sót nhưng không còn nắm giữ quyền lực có ý nghĩa — kết cục không có khoảnh khắc kịch tính và do đó không có cảnh báo kịch tính.

Chương này không làm gì