Trang này là gì, và không phải là gì
Trang này nói về bằng chứng đằng sau các con số, không phải bản thân các con số. Bạn đã thấy các tiêu đề: một nhà nghiên cứu nghiêm túc nói xác suất tuyệt chủng loài người do AI gây ra là khoảng 20%, một người khác nói nó gần như bằng không, và cả hai đều viện dẫn chuyên môn. Trang này giải thích những ước tính đó đến từ đâu, vì sao chúng trải rộng trên hai bậc độ lớn, và — hữu ích nhất — một độc giả cẩn trọng nên làm gì với một đại lượng mà không ai có thể đo lường được.
Các kết quả khảo sát và mô hình được thảo luận ở đây là các ấn phẩm đã được quan sát. Việc diễn giải ý nghĩa của sự bất đồng của chúng là phân tích. Để biết lập luận đồng hành rằng những con số này mô tả một loại kết quả khác biệt về phạm trù, xem tuyệt chủng so với các sự kiện thương vong hàng loạt; sự xử lý rộng hơn của cẩm nang về các ước tính nằm tại ước tính rủi ro và sự bất đồng của chuyên gia.
Các cuộc khảo sát thực sự nói gì
Cuộc khảo sát lớn nhất liên quan đã hỏi hàng nghìn nhà nghiên cứu học máy — các tác giả tại các hội nghị AI lớn — về xác suất của họ đối với tác động lâu dài của AI tiên tiến. Đợt khảo sát năm 2023 phát hiện một ước tính trung vị khoảng 5% cho sự tuyệt chủng của loài người hoặc sự tước quyền nghiêm trọng, mang tính vĩnh viễn tương tự do các tiến bộ AI tương lai gây ra, với giá trị trung bình gần 16% và khoảng tứ phân vị trải dài từ khoảng 0% đến 19% (Grace và cộng sự, 2024). Hãy đọc phân phối đó, không chỉ trung vị: một trung bình gấp bốn lần trung vị có nghĩa là một đuôi phải dài, với một thiểu số đáng kể các chuyên gia trên 20% và một số gần 50%, trong khi một thiểu số đáng kể khác về cơ bản nằm ở mức không.
Cùng bài báo đó ghi chép rằng con số này thay đổi theo cách diễn đạt. Khi câu hỏi cụ thể hóa sự tuyệt chủng do sự bất lực trong việc kiểm soát AI tiên tiến của con người gây ra, trung vị tăng gấp đôi lên khoảng 10%. Khi một đợt khảo sát năm 2022 hỏi về sự tuyệt chủng từ AI nói chung, trung vị là 5%; các vòng khảo sát AI Impacts trước đó cho thấy cùng độ nhạy với cách đóng khung (Khảo sát Chuyên gia 2022 về Tiến bộ trong AI). Một đại lượng thay đổi theo hệ số hai khi câu hỏi được diễn đạt lại đang nói cho bạn điều gì đó về sự bất định của người trả lời — và, thẳng thắn mà nói, về sự lỏng lẻo của khái niệm đang được đo lường. Không điều nào trong số này khiến các cuộc khảo sát trở nên vô giá trị. Nó khiến chúng trở thành nguyên liệu thô, không phải phán quyết.
Ước tính dựa trên mô hình so với phán đoán trực giác
Một họ ước tính thứ hai không hỏi trực giác của bất kỳ ai; nó xây dựng một lập luận minh thị và gán xác suất cho mỗi bước. Ví dụ nghiêm ngặt nhất là phân tích có cấu trúc của Joseph Carlsmith về việc liệu AI tìm kiếm quyền lực có gây ra rủi ro hiện sinh hay không, phân rã tuyên bố thành sáu mệnh đề kết hợp — các hệ thống sẽ trở nên có năng lực hơn nhiều, chúng sẽ tìm kiếm quyền lực, con người sẽ thất bại trong việc sửa chữa điều này, và cứ thế — và bảo vệ một xác suất cho mỗi mệnh đề. Kết luận cuối cùng của ông rơi vào khoảng 10% cho thảm họa do AI gây ra trong thế kỷ này, với các thanh sai số rộng mà ông cẩn thận trình bày (Carlsmith, 2022). Các triết gia làm việc trong cùng truyền thống đạt đến những con số khác nhau bằng cách tranh luận về từng mệnh đề riêng lẻ: Toby Ord, trong The Precipice (2020), lập luận cho một rủi ro hiện sinh tổng thể từ AI bị lệch hướng khoảng một phần sáu trong thế kỷ này, được thúc đẩy bởi một cách đọc bi quan hơn về vấn đề căn chỉnh.
Những mô hình này chia sẻ một đức tính mà các cuộc khảo sát thiếu: mọi bước đều hiển thị và có thể bị tranh cãi. Chúng chia sẻ hai tật xấu. Mọi bước cũng có thể bị tranh cãi, đó là lý do vì sao những độc giả hợp lý đảo ngược dấu của các mệnh đề riêng lẻ; và các xác suất gắn với mỗi bước, cuối cùng, vẫn là những phán đoán. Một phán đoán trực giác có sơ đồ vẫn là một phán đoán trực giác. Sự bất đồng giữa một mô hình có cấu trúc 10% và một trực giác 0,1% không phải là một xung đột đo lường. Đó là một xung đột về việc lớp tham chiếu nào và chế độ thất bại nào xứng đáng được trọng số.
Vì sao các lớp tham chiếu kéo theo các hướng khác nhau
Bên dưới mỗi ước tính là một phép tương đồng, và các phép tương đồng thực sự xung đột:
- Tuyệt chủng sinh học. Các loài liên tục tuyệt chủng; tỷ lệ cơ sở khoảng một đến năm loài mỗi năm trong những thập kỷ gần đây. Nhưng đó là những loài có dân số nhỏ và phạm vi hẹp. Sự tương đồng gần nhất của con người, nút thắt cổ chai siêu phun trào Toba, còn gây tranh cãi và có trước cả nền văn minh. Tỷ lệ cơ sở này kéo về phía “tuyệt chủng là một kết quả bình thường” trong khi hầu như không nói lên điều gì về một loài công nghệ toàn cầu.
- Các sự cố hạt nhân suýt xảy ra. Cuộc khủng hoảng tên lửa Cuba, sự cố Stanislav Petrov năm 1983, và cảnh báo tên lửa Na Uy năm 1995 cho thấy các hệ thống dưới căng thẳng tối đa tạo ra những thất bại suýt xảy ra và sau đó không thất bại. Những người lạc quan đọc một chuỗi dài các sự kiện được cứu bởi may mắn; những người bi quan đọc cùng chuỗi đó như bằng chứng rằng may mắn sẽ cạn kiệt.
- Tai nạn công nghệ. Máy bay, lò phản ứng, và tàu vũ trụ thất bại ở các tỷ lệ có thể đo lường được và sau đó trở nên an toàn hơn thông qua việc thiết kế lại được học một cách khó khăn. Những người lạc quan ngoại suy sự thiết kế lại; những người bi quan lưu ý rằng ngành hàng không không cần phải thành công chỉ một lần.
Mỗi phép tương đồng đều trung thực. Mỗi phép tương đồng mã hóa một tiên nghiệm, không phải một sự thật. Các ước tính phân kỳ vì các tiên nghiệm phân kỳ, và các tiên nghiệm phân kỳ vì không có bằng chứng trực tiếp — không có lần chạy hoàn chỉnh nào của thí nghiệm — để kỷ luật bất kỳ ước tính nào trong số chúng.
Bản thân sự bất đồng nói cho bạn biết điều gì
Đây là điểm phân tích mà hầu hết các bài viết bỏ lỡ: phương sai chính là phát hiện. Nếu xác suất tuyệt chủng dễ ước tính, hàng nghìn chuyên gia thông thạo sẽ không tạo ra các ước tính từ gần không đến gần tung đồng xu. Sự phân tán là bằng chứng về trạng thái kiến thức, theo cùng cách mà các mô hình thời tiết phân kỳ mạnh mẽ là bằng chứng cho thấy cơn bão thực sự không thể dự đoán được, chứ không phải rằng dự báo trung bình phải đúng. Lấy trung bình các chuyên gia thành một con số giữa gọn gàng — chẳng hạn, 5% — tạo ra cảm giác chính xác trong khi không thừa hưởng bất kỳ thông tin nào. Báo cáo An toàn AI Quốc tế 2026, nỗ lực tổng hợp toàn diện nhất cho đến nay, thẳng thắn rằng bằng chứng về rủi ro nghiêm trọng còn mỏng manh, gây tranh cãi, và tập trung tại một số ít phòng thí nghiệm (Báo cáo An toàn AI Quốc tế 2026).
Một sự thật nữa mà phân phối này mã hóa: sự bất đồng không phải là ngẫu nhiên. Trong các cuộc khảo sát, các nhà nghiên cứu kỳ vọng tiến bộ năng lực nhanh hơn gán xác suất rủi ro thảm khốc cao hơn, và các nhà nghiên cứu tại các phòng thí nghiệm tiên phong gán xác suất thấp hơn so với các học giả độc lập. Một phần của điều đó là bằng chứng về việc ai nhìn thấy điều gì. Một phần của nó là động cơ. Độc giả nên giữ cả hai lời giải thích.
Cách thực sự sử dụng những con số này
Kết luận thực tiễn không phải là những con số vô dụng; đó là chúng phải được sử dụng với công cụ đúng. Kế toán giá trị kỳ vọng — nhân một xác suất chính xác với một kết quả và xếp hạng các kết quả — thất bại ở đây, vì đầu vào là một phán đoán rộng hai bậc độ lớn và những sai sót nhỏ trong đầu vào lặng lẽ chi phối đầu ra. Việc ra quyết định dưới sự bất định sâu sắc hoạt động khác đi: bạn hỏi hành động nào vẫn đáng thực hiện trên toàn bộ phạm vi khả dĩ, và bạn ưu tiên các hành động vững chắc hơn là tối ưu.
Áp dụng vào rủi ro tuyệt chủng AI, logic đó mang tính làm sáng tỏ. Công việc phòng ngừa — đánh giá năng lực, các biện pháp bảo vệ triển khai, quản trị sức tính toán — trông đáng giá ở mức 20%, ở mức 5%, và ở mức 1%, vì chi phí của công việc là khiêm tốn và kết quả mà nó bảo vệ là khác biệt về phạm trù so với bất cứ điều gì được định giá trong chính sách thông thường. Sự bác bỏ chỉ có thể biện minh được khi gần bằng không. Vì vậy các cuộc khảo sát, dù có sự lỏng lẻo của chúng, thực hiện công việc thực sự: chúng cho bạn biết rằng gần-không là một lập trường gây tranh cãi, không phải một sự đồng thuận. Để biết cách các kỳ vọng dòng thời gian cơ bản thúc đẩy sự bất đồng, xem dự báo dòng thời gian. Bạn không cần biết xác suất của đám cháy để biện minh cho việc mua bình chữa cháy. Bạn cần biết rằng những người nghiêm túc, nhìn vào cùng bằng chứng, vẫn tiếp tục ngửi thấy mùi khói.