Một tỷ lệ phần trăm là một phán đoán, không phải một phép đo
Khi một nhà nghiên cứu nói rằng có 10 phần trăm khả năng AI tiên tiến gây ra sự tuyệt chủng của loài người, con số đó không phải là một tần suất được đo lường qua các lịch sử lặp lại. Đó là một xác suất chủ quan tổng hợp các niềm tin về năng lực, triển khai, thể chế, xung đột, và nhiều bước bất định. Một chuyên gia khác có thể sử dụng “rủi ro hiện sinh” để bao gồm sự tước quyền vĩnh viễn của con người, trong khi một tiêu đề chỉ báo cáo sự tuyệt chủng.
Những ước tính như vậy có thể cung cấp thông tin cho các quyết định, đặc biệt khi hậu quả to lớn, nhưng chúng không nên được trình bày như các hằng số khoa học đã được xác lập. Người nói, ngày tháng, câu hỏi chính xác, khung thời gian, định nghĩa kết quả, bằng chứng, và sự bất định đều quan trọng. Ước tính cá nhân của một nhà khoa học nổi tiếng vẫn là một ước tính cá nhân.
Xác định kết quả trước khi so sánh các con số
Ít nhất bốn kết quả thường bị pha trộn:
- tổn hại nghiêm trọng: thương vong lớn, thiệt hại kinh tế, hoặc vi phạm quyền;
- thảm họa toàn cầu: tổn hại ảnh hưởng đến phần lớn nhân loại hoặc một tỷ lệ tử vong cụ thể;
- tuyệt chủng của loài người: không có dân số con người nào còn sống sót;
- thảm họa hiện sinh: sự tuyệt chủng hoặc sự phá hủy không thể đảo ngược tiềm năng dài hạn của nhân loại, đôi khi bao gồm cả sự tước quyền nghiêm trọng vĩnh viễn.
Các dự báo có thể hỏi liệu AI có gây ra kết quả này, là một đóng góp cần thiết, hay chỉ đơn thuần xuất hiện ở đâu đó trong chuỗi. Chúng có thể bao phủ mười năm, năm 2100, hoặc toàn bộ thời gian tương lai. Một ước tính một phần trăm trong mười năm không thể được so sánh trực tiếp với một ước tính năm phần trăm trong một thế kỷ.
Các định nghĩa về công nghệ cũng khác nhau: AI đa dụng hiện nay, “trí tuệ máy cấp cao,” AGI, siêu trí tuệ, hoặc bất kỳ AI tương lai nào. Luôn bảo tồn câu chữ gốc.
Cuộc khảo sát nghiên cứu lớn tìm thấy gì
Khảo sát Chuyên gia năm 2023 về Tiến bộ trong AI đã mời các tác giả từ các diễn đàn AI hàng đầu và nhận được phản hồi từ 2.778 nhà nghiên cứu. Phân tích đã công bố của khảo sát này tìm thấy sự bất đồng rộng rãi về dòng thời gian và tác động. Hầu hết những người trả lời kỳ vọng các kết quả tốt từ AI siêu phàm có khả năng xảy ra hơn các kết quả xấu, nhưng nhiều người vẫn gán một xác suất không nhỏ cho các kết quả cực kỳ tệ. Bài báo cũng thấy rằng các phản hồi thay đổi theo cách đặt câu hỏi (Grace và cộng sự, “Thousands of AI Authors on the Future of AI”).
Điều này không ủng hộ tuyên bố “các chuyên gia AI đồng ý rằng sự tuyệt chủng là có khả năng.” Nó ủng hộ một tuyên bố hẹp hơn: một bộ phận đáng kể các nhà nghiên cứu được khảo sát coi các kết quả cực đoan là đủ hợp lý để gán một xác suất có ý nghĩa, cùng với sự lạc quan và sự phân tán rộng. Để có cái nhìn gần hơn về vì sao các phản hồi cụ thể về sự tuyệt chủng trong khảo sát này và các khảo sát khác lại phân kỳ rộng đến vậy, xem vì sao các ước tính tuyệt chủng của chuyên gia phân kỳ rộng đến vậy.
Các hạn chế của khảo sát bao gồm việc không phản hồi, chuyên môn khác nhau trong phân tích rủi ro, các định nghĩa không ổn định, và khó khăn trong việc chuyển đổi mối lo ngại trực quan thành các xác suất được hiệu chuẩn. Việc công bố tại một hội nghị AI hàng đầu xác lập kinh nghiệm kỹ thuật, không phải kỹ năng dự báo về địa chính trị hay thay đổi xã hội quy mô thế kỷ. Các câu trả lời trung vị cũng che giấu sự phân cực và sự tương quan giữa những người trả lời.
Các giải đấu dự báo tiết lộ một sự bất đồng khác
Giải đấu Thuyết phục về Rủi ro Hiện sinh đã tập hợp 80 chuyên gia lĩnh vực và 89 siêu dự báo viên có thành tích về dự báo ngắn hạn. Người tham gia đã ước tính các rủi ro AI, hạt nhân, sinh học, và các rủi ro khác dưới các định nghĩa chung, trao đổi các lập luận, và cập nhật (Giải đấu XPT của Viện Nghiên cứu Dự báo).
Phân tích được bình duyệt kết quả đã tìm thấy sự khác biệt lớn giữa các chuyên gia lĩnh vực và các siêu dự báo viên, đặc biệt là đối với AI (Karger và cộng sự, International Journal of Forecasting). Đây là bằng chứng có giá trị chống lại sự đồng thuận giả tạo. Nó không chứng minh nhóm thấp hơn hay cao hơn là đúng.
Các siêu dự báo viên đã chứng minh sự hiệu chuẩn trên nhiều câu hỏi có thể giải quyết được, ngắn hạn hơn. Các câu hỏi về sự tuyệt chủng ở quy mô thế kỷ không thể được chấm điểm trong sự nghiệp của người tham gia, và các xác suất hiếm dưới một phần trăm đặc biệt khó xác minh. Các chuyên gia lĩnh vực có thể hiểu các cơ chế tốt hơn nhưng có thể được chọn vào một lĩnh vực vì mối lo ngại và có thể thiếu sự hiệu chuẩn dự báo. Các nhóm này mang lại những điểm mạnh và thiên kiến khác nhau.
Vì sao các chuyên gia bất đồng
Các giả định về năng lực: Liệu các phương pháp hiện nay sẽ tạo ra tính tự chủ vững chắc, khám phá khoa học, và lập kế hoạch chiến lược, hay độ tin cậy và tính thể chất hóa sẽ vẫn khó khăn?
Các giả định về dòng thời gian: Rủi ro tích lũy khác nhau nếu năng lực biến đổi đến trong năm năm so với năm mươi năm. Các thể chế có nhiều thời gian hơn để thích ứng dưới tiến bộ chậm hơn, nhưng nhiều chủ thể hơn có thể có được quyền truy cập.
Các giả định về căn chỉnh: Các nhà nghiên cứu bất đồng về việc liệu các hệ thống tiên tiến sẽ phát triển các mục tiêu bền vững hay không, liệu việc huấn luyện hiện nay có kiểm soát chúng hay không, và bao nhiêu bằng chứng tiền đề có thể quan sát được nên làm thay đổi các dự báo.
Các giả định về quyền lực và triển khai: Một mô hình có năng lực nhưng không có công cụ hoặc thẩm quyền khác với một tác nhân được triển khai rộng rãi kiểm soát tiền, mã, phòng thí nghiệm, hoặc hạ tầng.
Các giả định về quản trị: Cạnh tranh, xung đột quân sự, quyền sở hữu tập trung, quy định, và sự phối hợp quốc tế có thể chiếm ưu thế hơn sự bất định kỹ thuật.
Các định nghĩa đạo đức: Sự mất mát vĩnh viễn quyền kiểm soát của con người có thể được coi là tổn hại hiện sinh đối với một người dự báo và không phải đối với người khác.
Một con số tiêu đề nén toàn bộ mô hình này lại. Việc đưa tin tốt sẽ mở rộng nó ra một lần nữa.
Sự hiệu chuẩn khó khăn nhưng không phải là tùy chọn
Một người dự báo được hiệu chuẩn gán 20 phần trăm cho nhiều sự kiện nên đúng khoảng một phần năm số lần. Sự hiệu chuẩn chỉ có thể được đo lường trên một tập hợp các câu hỏi đã được giải quyết, có thể so sánh được. Chúng ta không thể hiệu chuẩn trực tiếp một dự báo về sự tuyệt chủng vào năm 2100 ngay hôm nay.
Những người dự báo vẫn có thể cải thiện kỷ luật bằng cách phân rã con đường thành các câu hỏi gần hơn, có thể quan sát được: tính tự chủ của mô hình, tự động hóa nghiên cứu, thất bại biện pháp bảo vệ, quy mô triển khai, tỷ lệ sự cố, và việc áp dụng quản trị. Những dự báo đó có thể được giải quyết sớm hơn và tiết lộ giả định nào đã sai.
Hãy sử dụng các tỷ lệ cơ sở một cách cẩn thận. Nhân loại không có mẫu lịch sử nào về các chuyển đổi AGI. Các phép loại suy với vũ khí hạt nhân, đại dịch, an ninh mạng, tai nạn công nghiệp, hoặc việc áp dụng phần mềm mang lại bằng chứng một phần, không phải một lớp tham chiếu trực tiếp. Các mô hình cơ chế cũng có rủi ro cộng dồn các xác suất suy đoán qua các bước phụ thuộc lẫn nhau.
Bản tổng hợp khoa học không gán một xác suất duy nhất
Báo cáo An toàn AI Quốc tế năm 2026, được viết thông qua một quy trình chuyên gia quốc tế, tách biệt việc sử dụng ác ý và các thất bại độ tin cậy đã được ghi chép khỏi các kịch bản mất kiểm soát được giả định. Nó nói rằng các hệ thống hiện nay thiếu các năng lực cần thiết cho việc mất kiểm soát, rằng các khả năng liên quan đang cải thiện, và rằng các chuyên gia bất đồng đáng kể về khả năng xảy ra và mức độ nghiêm trọng (Báo cáo An toàn AI Quốc tế 2026).
Đó không phải là một “xác suất đồng thuận.” Đó là sự đồng thuận rằng bằng chứng chứa các rủi ro nghiêm trọng và sự bất định lớn. Đánh giá khoa học có thể xác định các cơ chế, quan sát, khoảng trống, và biện pháp bảo vệ mà không giả vờ biết một xác suất thảm họa duy nhất.
Cách trình bày một ước tính công khai
Một mục nhập có trách nhiệm nên trông như thế này:
Vào [ngày], [người hoặc nhóm] đã gán [xác suất hoặc khoảng] cho [kết quả chính xác] vào [thời điểm], theo [định nghĩa công nghệ], dựa trên [các lý do chính]. Đây là [phán đoán cá nhân, tổng hợp khảo sát, hoặc dự báo có cấu trúc], không phải một tần suất đã được quan sát.
Hãy bao gồm phân phối khi có thể. Báo cáo tỷ lệ phản hồi và cách lựa chọn mẫu cho các khảo sát. Phân biệt giá trị trung bình với trung vị và xác suất có điều kiện với không điều kiện. Bảo tồn các sửa đổi để các dự báo có thể được đánh giá thay vì bị âm thầm ghi đè.
Đừng tính trung bình các câu hỏi không tương thích. Việc kết hợp ước tính “sự tước quyền vĩnh viễn” của một khảo sát với ước tính “dân số dưới 1.000 người” của một giải đấu tạo ra một con số không có ý nghĩa mạch lạc.
Ra quyết định dưới sự bất đồng
Chính sách không đòi hỏi sự chắc chắn. Các rủi ro xác suất thấp, hậu quả cao có thể biện minh cho nghiên cứu, giám sát, khả năng phục hồi, và các biện pháp bảo vệ có thể đảo ngược khi những biện pháp đó có lợi ích trên nhiều kịch bản. Chi phí và tác dụng phụ của sự can thiệp cũng quan trọng. Một biện pháp phòng ngừa củng cố sự độc quyền, đàn áp khoa học hợp pháp, hoặc làm tăng sự bất ổn địa chính trị có thể làm tăng các rủi ro khác.
Các biện pháp mạnh mẽ bao gồm đánh giá độc lập, báo cáo sự cố, bảo mật mô hình, ứng phó khẩn cấp, phòng thủ sinh học, an ninh mạng, kiểm soát của con người đối với việc sử dụng hạt nhân, và trách nhiệm giải trình rõ ràng. Chúng vẫn hữu ích trên một phạm vi xác suất rộng.
Các mức độ chấp nhận rủi ro khác nhau là các câu hỏi chính trị hợp pháp. Các chuyên gia có thể cung cấp thông tin cho bằng chứng nhưng không thể một mình quyết định cách xã hội đánh đổi giữa đổi mới, tự do, phân phối, an ninh, và tổn hại tương lai không chắc chắn.
Cập nhật thay vì bảo vệ một phe phái
Các dự báo nên thay đổi khi bằng chứng thay đổi. Các cập nhật liên quan bao gồm tính tự chủ nhiệm vụ dài hạn bền vững, các tiến bộ nghiên cứu do AI tạo ra đã được xác nhận, các thất bại biện pháp bảo vệ trong thế giới thực, sự giám sát thành công, các luật lớn, hoặc các bình nguyên năng lực dai dẳng. Một người dự báo nên nêu rõ điều gì sẽ làm thay đổi ước tính lên hoặc xuống.
Sự đa dạng trí tuệ cải thiện việc đánh giá. Hãy bao gồm những người hoài nghi kỹ thuật, các nhà nghiên cứu an toàn, các nhà khoa học xã hội, những người dự báo, các chuyên gia lĩnh vực, các cộng đồng bị ảnh hưởng, và các nhà hoạch định chính sách. Sự bất đồng nên được lập bản đồ theo giả định, không bị rút gọn thành “những người lạc quan” và “những người bi quan.”
Kết luận thực tiễn
Các ước tính của chuyên gia cho thấy rủi ro AI thảm khốc được nhiều người có đủ trình độ coi trọng và bị những người khác nghi ngờ. Chúng không xác lập được một xác suất đã đo lường hay một quan điểm khoa học nhất trí. Các khảo sát tiết lộ niềm tin; các giải đấu áp đặt kỷ luật dự báo; lý thuyết giải thích các con đường; các đánh giá kiểm tra các thành phần; triển khai cung cấp bằng chứng trong thế giới thực.
Lập trường công khai trung thực nhất là sự bất định có cấu trúc: xác định kết quả, cho thấy phạm vi, phơi bày các giả định, theo dõi sự hiệu chuẩn khi có thể, và chọn các biện pháp bảo vệ vẫn đáng giá trên nhiều tương lai hợp lý.