Thảm họa không đòi hỏi một hệ thống thống trị duy nhất
Nhiều câu chuyện về rủi ro AI tập trung vào một hệ thống duy nhất thoát khỏi kiểm soát. Một kịch bản đa cực thay vào đó chứa nhiều nhà phát triển, quốc gia, tổ chức, hoặc hệ thống AI mạnh mẽ mà các quyết định của họ tương tác với nhau. Mỗi chủ thể có thể ưa thích sự an toàn về nguyên tắc nhưng lại chấp nhận rủi ro vì họ sợ rằng một đối thủ sẽ hành động trước. Tổn hại có thể phát sinh từ sự cạnh tranh, hiểu lầm, và phản hồi thay vì kế hoạch của một kẻ ác duy nhất.
Đây là một họ các cơ chế lý thuyết, không phải một mô tả đã được quan sát về AGI trong tương lai. Sự cạnh tranh hiện nay về chip, mô hình, công nghệ quân sự, và thị trường cung cấp bằng chứng rằng các động lực quan trọng; nó không chứng minh một cuộc đua không thể tránh khỏi hướng đến thảm họa. Giá trị của khung này là xác định các vấn đề phối hợp đủ sớm để thay đổi chúng.
Cơ chế cuộc đua xuống đáy
Giả sử hai nhà phát triển tin rằng việc kiểm tra thêm sẽ làm giảm rủi ro nhưng trì hoãn việc phát hành. Mỗi bên lo lắng rằng bên kia sẽ ra mắt và thu hút người dùng, đầu tư, dữ liệu, hoặc ảnh hưởng chiến lược. Cả hai đều phát hành sớm hơn so với những gì họ sẽ chọn dưới một thỏa thuận đáng tin cậy. Hành động hợp lý cá nhân tạo ra một kết quả tồi tệ hơn về mặt tập thể.
Các quốc gia đối mặt với một tình thế lưỡng nan an ninh tương tự. Khoản đầu tư phòng thủ của một quốc gia có thể trông có vẻ tấn công đối với quốc gia khác. Tính bảo mật xung quanh năng lực và biện pháp bảo vệ khiến việc trấn an trở nên khó khăn. Các lãnh đạo có thể tăng tốc vì họ tin rằng một đối thủ đang gần đạt được, ngay cả khi niềm tin đó dựa trên các cuộc trình diễn công khai được chọn lọc hoặc tình báo có sự bất định lớn.
Cạnh tranh không phải lúc nào cũng làm giảm sự an toàn. Danh tiếng, trách nhiệm pháp lý, nhu cầu khách hàng, và các tiêu chuẩn chung có thể thưởng cho độ tin cậy. Nhiều nhà phát triển có thể phơi bày những điểm yếu của nhau và ngăn chặn sự độc quyền. Câu hỏi thực nghiệm là những động lực nào chiếm ưu thế trong một thị trường cụ thể và những thể chế nào thay đổi hàm lợi ích.
Tương tác giữa các tác nhân AI tạo ra các chế độ thất bại mới
Các hệ thống đa tác nhân có thể chia việc, tranh luận các phương án, xác minh đầu ra, và mô hình hóa các môi trường phức tạp. Chúng cũng có thể lan truyền lỗi. Một tác nhân có thể coi đầu ra tự tin của một tác nhân khác là bằng chứng, tạo ra một hiệu ứng dây chuyền. Các tác nhân đàm phán tự động có thể khám phá ra các chiến thuật mà con người không ủy quyền hoặc không hiểu. Các tác nhân hành động ở tốc độ máy có thể tương tác thường xuyên hơn khả năng người giám sát có thể rà soát.
Những hiệu ứng này đã được nghiên cứu trong các mô phỏng có giới hạn và các hệ thống quy trình làm việc đã triển khai, nhưng các kết quả ở quy mô văn minh vẫn mang tính suy đoán. Một kết quả trong phòng thí nghiệm liên quan đến các tác nhân đơn giản không nên được báo cáo như bằng chứng rằng các nền kinh tế tương lai sẽ thông đồng hoặc chiến đấu. Các nhà nghiên cứu cần kiểm tra các môi trường phong phú hơn, các mục tiêu không đồng nhất, các thất bại liên lạc, các bên tham gia đối kháng, và sự can thiệp của con người.
Một mối lo ngại khác là thất bại tương quan. Các hệ thống được xây dựng từ cùng một mô hình cơ sở, dữ liệu, hoặc nhà cung cấp đám mây có thể mắc cùng những lỗi tương tự. Những gì trông giống như một hệ sinh thái đa dạng có thể có một lỗ hổng chung duy nhất. Ngược lại, sự đa dạng thực sự có thể ngăn một thất bại đơn lẻ lan rộng nhưng có thể khiến việc phối hợp và xác minh trở nên khó khăn hơn.
Tai nạn, xung đột, và thông đồng là khác nhau
Tương tác tình cờ có thể phát sinh khi các tác nhân theo đuổi các mục tiêu thông thường nhưng gây cản trở. Các hệ thống giao dịch có thể khuếch đại sự biến động giá; các tác nhân hậu cần có thể cạnh tranh cho cùng một tài nguyên khan hiếm; các tác nhân phòng thủ mạng có thể phân loại sai hành động của nhau. Phản hồi có thể leo thang ngay cả khi không có hệ thống nào đại diện cho một đối thủ.
Tương tác đối kháng xảy ra khi các chủ thể cố ý tìm kiếm lợi thế. AI có thể tăng tốc trinh sát, tác động, nhắm mục tiêu vũ khí, hoặc lập kế hoạch chiến lược. Các cửa sổ quyết định ngắn hơn có thể làm giảm thời gian cho sự sửa chữa. Rủi ro vũ khí tự chủ không chỉ là một mô hình lỗi mà còn là hành vi kết hợp của nhiều quân đội phản ứng với nhau.
Tương tác thông đồng xảy ra khi các đối thủ cạnh tranh phối hợp chống lại lợi ích của con người—ví dụ, các hệ thống định giá học được các chiến lược làm mềm sự cạnh tranh. Định giá thuật toán đã làm dấy lên các mối lo ngại về chính sách cạnh tranh, nhưng bằng chứng về sự thông đồng tự chủ ngầm phụ thuộc nhiều vào thị trường và thiết kế. Sự thông đồng của các tác nhân trong tương lai là hợp lý, không chắc chắn.
Việc sử dụng một nhãn cho cả ba che khuất các biện pháp khắc phục khác nhau. Tai nạn đòi hỏi tính vững chắc và các cầu dao ngắt mạch; xung đột đòi hỏi giao tiếp, xác minh, và các công cụ kiểm soát vũ trang; thông đồng đòi hỏi giám sát và thực thi chính sách cạnh tranh.
Vì sao thông tin có thể khiến một cuộc đua an toàn hơn hoặc tồi tệ hơn
Tính minh bạch có thể xây dựng lòng tin khi các chủ thể tiết lộ phương pháp đánh giá, sự cố, và biện pháp kiểm soát rủi ro. Các ngưỡng năng lực chung có thể cho thấy rằng các đối thủ cạnh tranh sẽ đối mặt với các nghĩa vụ tương đương. Việc xác minh độc lập làm giảm sự phụ thuộc vào tự báo cáo.
Nhưng việc tiết lộ cũng có thể lan truyền kiến thức nguy hiểm, để lộ các điểm yếu bảo mật, hoặc kích thích một cuộc đua bằng cách quảng cáo một năng lực. Một chế độ đáng tin cậy cần quyền truy cập theo tầng: các bản tóm tắt công khai cho trách nhiệm giải trình, rà soát kỹ thuật bảo mật cho cơ quan quản lý hoặc người đánh giá, và bảo vệ cho các chi tiết thực sự nguy hiểm.
Sự bất định dự báo tạo thêm áp lực. Nếu các chủ thể tin rằng năng lực có thể nhảy vọt nhanh chóng, họ có thể coi sự thận trọng là tốn kém về mặt chiến lược. Tuy nhiên, cùng sự bất định đó cũng nên làm giảm niềm tin rằng một hệ thống được vội vã ra mắt sẽ hành xử như kỳ vọng. Các thể chế cần các cách để khiến sự thận trọng mang tính tương hỗ thay vì đơn phương.
Động lực đa tác nhân và sự tước quyền dần dần
Cạnh tranh cũng có thể tạo ra sự tước quyền dần dần. Các doanh nghiệp ủy thác nhiều quyết định hơn vì đối thủ cũng làm vậy. Các chính phủ dựa vào phân tích tốc độ máy vì các chính phủ khác cũng làm vậy. Không tổ chức nào muốn con người mất quyền kiểm soát có ý nghĩa, nhưng mỗi lựa chọn cục bộ khiến việc đảo ngược khó khăn hơn.
Con đường này không đòi hỏi các tác nhân hợp tác bí mật. Sự lựa chọn của thị trường có thể ưu ái các hệ thống thu thập tài nguyên, giữ chân người dùng, và hành động nhanh chóng, ngay cả khi những đặc điểm đó làm suy yếu sự cân nhắc. Kết quả giống với một quá trình sinh thái: các chiến lược lan rộng vì chúng cạnh tranh hiệu quả, không phải vì một trí tuệ duy nhất đã lên kế hoạch cho toàn bộ kết quả.
Phép loại suy đó phải vẫn chỉ là một phép loại suy. Các thể chế kinh tế và chính trị có khả năng suy ngẫm, luật pháp, thương lượng tập thể, và tái thiết kế. Áp lực cạnh tranh ràng buộc các lựa chọn nhưng không loại bỏ quyền tự quyết.
Quản trị cho một thế giới đa nguyên
Đánh giá và báo cáo chung làm giảm lợi thế của việc che giấu rủi ro. Các nhà phát triển có thể sử dụng các định nghĩa có thể so sánh, báo cáo các sự cố nghiêm trọng, và cung cấp cho người đánh giá bên ngoài có đủ trình độ quyền truy cập. Các quy tắc nên áp dụng trên khắp các công ty để một công ty không bị trừng phạt vì các biện pháp phòng ngừa mà đối thủ cạnh tranh tránh né.
Khả năng liên thông và chính sách tập trung có thể bảo tồn các phương án thay thế mà không giả định rằng sự phân mảnh tự động an toàn. Sự tập trung có thể cho phép các biện pháp kiểm soát nhất quán nhưng tạo ra các điểm lỗi duy nhất và quyền lực chính trị. Một hệ sinh thái đa dạng cải thiện khả năng phục hồi chỉ khi các hệ thống không chia sẻ các phụ thuộc ẩn.
Giao tiếp quốc tế quan trọng ngay cả khi không có một hiệp ước toàn diện. Các quốc gia có thể tạo đường dây nóng cho các sự cố liên quan đến AI, thông báo cho nhau về các thất bại an toàn lớn, làm rõ học thuyết quân sự, và bảo vệ các quyết định về việc sử dụng hạt nhân khỏi sự kiểm soát tự chủ. Nghiên cứu xác minh kỹ thuật có thể khiến các thỏa thuận trong tương lai đáng tin cậy hơn.
Cầu dao ngắt mạch và giới hạn tốc độ có thể làm chậm các hệ thống được kết nối chặt khi hành vi rời khỏi các phạm vi kỳ vọng. Thị trường tài chính đã sử dụng các lệnh tạm dừng giao dịch; các cơ chế tương tự có thể hữu ích trong năng lực tính toán, hạ tầng, hoặc mạng lưới tác nhân tự động. Các chế độ khôi phục phải được kiểm tra và kiểm soát bởi những con người có trách nhiệm.
Trách nhiệm pháp lý và bảo đảm có thể thay đổi các động lực cạnh tranh. Nếu các tổ chức chịu nhiều hơn chi phí của các thất bại có thể lường trước, tốc độ trở nên kém hấp dẫn giả tạo hơn. Các tiêu chuẩn nên tránh chỉ củng cố vị thế của các công ty lớn nhất, những công ty có thể chi trả cho sự tuân thủ phức tạp dễ dàng hơn.
Các dấu hiệu bằng chứng cho chủ đề này
Các bài viết nên gắn nhãn rõ ràng bốn cấp độ:
- sự cạnh tranh đã được ghi chép và các động lực triển khai trong ngành AI ngày nay;
- hành vi đã được quan sát trong các thí nghiệm đa tác nhân có giới hạn hoặc các thị trường tự động hiện có;
- các con đường được mô hình hóa cho thấy tương tác có thể khuếch đại rủi ro như thế nào;
- các kết quả thảm khốc mang tính suy đoán liên quan đến các hệ thống có năng lực cao trong tương lai.
Việc di chuyển từ cấp độ này sang cấp độ tiếp theo đòi hỏi các giả định. Những giả định đó—năng lực, tính tự chủ, việc áp dụng, tốc độ phản ứng, sự yếu kém thể chế—nên được nhìn thấy rõ ràng.
Kết luận thực tiễn
Một thế giới với nhiều hệ thống có năng lực không tự động an toàn hơn một thế giới với một hệ thống thống trị, và nó cũng không tự động nguy hiểm hơn. Tính đa nguyên có thể tạo ra các kiểm tra chéo, sự đổi mới, và khả năng phục hồi; nó cũng có thể tạo ra các cuộc đua, thất bại tương quan, leo thang, và các khoảng trống về trách nhiệm giải trình.
Nhiệm vụ chính sách trung tâm là khiến an toàn tương thích với cạnh tranh. Các mặt sàn chung, bằng chứng độc lập, giao tiếp sự cố, cầu dao ngắt mạch, và trách nhiệm giải trình có thể thực thi có thể làm giảm hình phạt cho sự thận trọng. Lăng kính đa cực nhắc nhở chúng ta rằng việc kiểm soát riêng lẻ từng mô hình là chưa đủ: sự sống còn có thể phụ thuộc vào các quy tắc chi phối cách các thể chế và hệ thống phản ứng với nhau.