Bắt đầu với chức năng, không phải nhãn hiệu
Một vũ khí tự chủ thường được hiểu là một hệ thống, một khi được kích hoạt, có thể lựa chọn và tấn công mục tiêu mà không cần con người phê duyệt từng cuộc tấn công riêng lẻ. Các định nghĩa vẫn còn gây tranh cãi vì tính tự chủ không phải là một công tắc duy nhất. Con người có thể chọn khu vực nhiệm vụ và loại mục tiêu trong khi phần mềm điều hướng, xác định một vật thể, khuyến nghị hành động, hoặc quyết định thời điểm chính xác để khai hỏa.
Phổ này bao gồm các hệ thống lâu đời như các thiết bị đánh chặn phòng thủ cũng như đạn tuần kích mới hơn, bầy máy bay không người lái, các công cụ nhắm mục tiêu được AI hỗ trợ, và robot mặt đất có vũ trang—các nền tảng bánh xe, bánh xích, và chân được khảo sát trong trang robot mặt đất và người máy quân sự của cẩm nang này. Rủi ro phụ thuộc vào môi trường, mục tiêu, áp lực thời gian, khả năng dự đoán, liên lạc, và hậu quả của lỗi. Một hệ thống bị ràng buộc chặt chẽ đánh chặn đạn dược đang bay đến khác với một hệ thống tìm kiếm con người trong một thành phố.
Hỗ trợ quyết định được AI hỗ trợ cũng đáng được xem xét kỹ lưỡng ngay cả khi một người chính thức kéo cò. Nếu một người vận hành nhận được hàng trăm mục tiêu do máy tạo ra dưới áp lực thời gian nghiêm trọng, sự phê duyệt có thể trở thành một con dấu cao su. “Con người trong vòng lặp” không nói lên nhiều điều trừ khi người đó có thông tin, thẩm quyền, thời gian, và huấn luyện để thách thức hệ thống.
Điều gì đã được ghi chép—và điều gì vẫn còn gây tranh cãi
Một báo cáo năm 2021 của Hội đồng Chuyên gia Liên Hợp Quốc về Libya mô tả đạn tuần kích Kargu-2 và các hệ thống khác được sử dụng chống lại lực lượng rút lui, lưu ý rằng các hệ thống được lập trình để tấn công mục tiêu mà không cần kết nối dữ liệu giữa người vận hành và đạn dược (báo cáo Libya của LHQ, đoạn 63). Đoạn văn này thường được gọi là cuộc tấn công bằng máy bay không người lái tự chủ đầu tiên nhắm vào con người. Tuy nhiên, báo cáo công khai không xác lập một cách chắc chắn rằng một Kargu-2 đã độc lập lựa chọn và giết một người. Các chuyên gia bất đồng về chế độ vận hành và kết quả. Đó là bằng chứng về việc triển khai trong một bối cảnh liên quan, không phải bằng chứng của một vụ giết người tự chủ đã được xác nhận.
Các cuộc xung đột gần đây hơn đã có sự sử dụng máy bay không người lái rộng rãi, thị giác máy tính, xử lý tình báo tự động, và các khuyến nghị mục tiêu được AI hỗ trợ. Báo cáo công khai thường thiếu đủ quyền truy cập kỹ thuật để xác định mô hình nào thực hiện chức năng nào hoặc người vận hành giữ lại bao nhiêu quyền kiểm soát. Các tuyên bố quân sự, mô tả của nhà cung cấp, và các bài báo báo chí nên được gắn nhãn thay vì được hợp nhất thành một sự chắc chắn duy nhất.
Tuy nhiên, hướng phát triển rất rõ ràng: lực lượng vũ trang đang đầu tư vào các hệ thống có thể vận hành khi liên lạc bị gây nhiễu, xử lý dữ liệu cảm biến nhanh chóng, và phối hợp nhiều nền tảng chi phí thấp. Tính tự chủ lớn hơn có thể hấp dẫn về mặt chiến thuật vì một liên kết điều khiển từ xa liên tục dễ bị tổn thương. Liệu điều đó có tạo ra độ chính xác an toàn hơn hay bạo lực nhanh hơn, ít trách nhiệm giải trình hơn phụ thuộc vào thiết kế và học thuyết.
Ba con đường leo thang khác nhau
Leo thang tốc độ xảy ra khi cảnh báo, nhắm mục tiêu, hoặc phản ứng tự động nén thời gian quyết định. Trong một cuộc khủng hoảng, các lãnh đạo có thể sợ rằng việc chờ đợi cho phép hệ thống tốc độ máy của đối phương giành được lợi thế. Điều đó có thể tạo ra áp lực ủy quyền trước các hành động. Một đọc số cảm biến sai, lỗi mô hình, hoặc thao tác mơ hồ có thể lan truyền trước khi con người hiểu được.
Leo thang quy mô xảy ra khi tính tự chủ khiến việc phối hợp nhiều hệ thống hoặc tạo ra mục tiêu trở nên rẻ hơn. Một tổ chức con người có thể cẩn thận rà soát hàng chục quyết định nhưng có thể không rà soát có ý nghĩa hàng nghìn. Khối lượng lớn hơn có thể làm tăng các cuộc chạm trán tình cờ, tổn hại dân sự, và yêu cầu trả đũa ngay cả khi mỗi hệ thống chính xác hơn về mặt cá nhân.
Leo thang nhận thức xảy ra khi các quốc gia hiểu sai hệ thống, học thuyết, hoặc mức độ kiểm soát của đối phương. Tính bảo mật khiến việc biết một vũ khí có mang tính phòng thủ hay không, một hành động có phải là cố ý hay không, hoặc một con người có thể dừng nó hay không trở nên khó khăn. Một khuyến nghị do AI tạo ra có thể trông khách quan đối với một bên nhưng mang tính gây hấn đối với bên khác.
Đây là những cơ chế hợp lý, không phải bằng chứng rằng AI sẽ không thể tránh khỏi việc khơi mào một cuộc chiến tranh. Tự động hóa cũng có thể cải thiện cảnh báo, giảm tình trạng quá tải của người vận hành, đánh chặn các mối đe dọa, và hỗ trợ giảm leo thang. Kết quả phụ thuộc vào việc kiểm tra, liên lạc, học thuyết, và các ràng buộc chung.
Các hệ thống hạt nhân xứng đáng nhận một tiêu chuẩn cao hơn
Việc kết nối AI với chỉ huy, kiểm soát, liên lạc hạt nhân, hoặc cảnh báo sớm đặt ra những cược đặc biệt cao. Học máy có thể giúp phân tích các luồng cảm biến lớn, nhưng các lỗi mờ đục, sự thao túng đối kháng, và sự dịch chuyển phân phối rất nguy hiểm ở nơi sự tự tin sai lầm có thể mang tính thảm khốc. Rủi ro không nhất thiết là một AI độc lập “phóng vũ khí hạt nhân.” Nó bao gồm việc các lãnh đạo nhận được lời khuyên bị nén, hiệu chuẩn kém trong vài phút.
Do đó, việc duy trì trách nhiệm của con người đối với các quyết định sử dụng hạt nhân là nhiều hơn một biểu tượng. Các hệ thống nên cung cấp sự bất định và nguồn gốc, bảo tồn các kênh độc lập, kháng cự việc giả mạo, và cho phép các lãnh đạo thời gian để xác minh. Không có đầu ra mô hình đơn lẻ nào nên trở thành một chỉ báo mang tính quyết định. Các cuộc diễn tập nên bao gồm thất bại AI và sự thao túng có chủ đích, không chỉ hỏng hóc thiết bị.
Trách nhiệm giải trình không thể kết thúc ở thuật toán
Luật nhân đạo quốc tế áp dụng bất kể công nghệ nào được sử dụng. Sự phân biệt, tính tương xứng, và các biện pháp phòng ngừa trong tấn công vẫn là nghĩa vụ của con người và nhà nước. Tuy nhiên, tính tự chủ làm phức tạp việc điều tra: một kết quả có hại có thể liên quan đến dữ liệu huấn luyện, giới hạn cảm biến, các tham số của một chỉ huy, một bản cập nhật phần mềm, hoặc lạm dụng của người vận hành.
Sự phức tạp đó không phải là cái cớ cho một khoảng trống trách nhiệm giải trình. Các quốc gia có thể yêu cầu nhật ký có thể truy vết, rà soát pháp lý, kiểm tra có thể kiểm toán, trách nhiệm chỉ huy rõ ràng, và các giới hạn về môi trường nơi một hệ thống có thể vận hành. Các nhà phát triển và chỉ huy nên xác định các chế độ thất bại có thể lường trước và các điều kiện dừng. Một hệ thống quá khó lường để rà soát không nên được triển khai chỉ vì trách nhiệm được phân tán.
Thiên kiến và bối cảnh cũng quan trọng. Một hệ thống thị giác được kiểm tra trên hình ảnh sạch có thể thất bại trong thời tiết, đống đổ nát, ngụy trang, hoặc các quần thể xa lạ. Đối phương có thể cố tình đánh lừa cảm biến. Độ chính xác trung bình trên một bộ kiểm tra không trả lời được liệu hệ thống có đáng tin cậy đối với một loại mục tiêu và môi trường cụ thể hay không.
Bối cảnh chính sách quốc tế
Các quốc gia đã tranh luận về vũ khí tự chủ gây chết người trong khuôn khổ Công ước về Một số Loại Vũ khí Thông thường trong nhiều năm mà không đồng thuận về một công cụ ràng buộc. Hoa Kỳ đã khởi động một Tuyên bố Chính trị không ràng buộc về Việc Sử dụng Quân sự Có trách nhiệm của Trí tuệ Nhân tạo và Tính tự chủ vào năm 2023, cam kết những người ủng hộ với các nguyên tắc bao gồm sự giám sát cấp cao, kiểm tra nghiêm ngặt, và khả năng ngắt kết nối các hệ thống hành xử ngoài dự kiến (tuyên bố của Bộ Ngoại giao Hoa Kỳ).
Tuyên bố này có thể xây dựng các chuẩn mực và hợp tác thực tiễn, nhưng sự ủng hộ không phải là thực thi. Các đề xuất của xã hội dân sự và nhà nước dao động từ việc cấm các hệ thống nhắm mục tiêu con người mà không có sự kiểm soát có ý nghĩa của con người đến việc quản lý các chức năng cụ thể và yêu cầu các nghĩa vụ tích cực. Sự bất đồng vẫn tồn tại về định nghĩa, xác minh, và lợi thế quân sự.
Các biện pháp ngắn hạn hữu ích không cần phải chờ đợi một hiệp ước toàn diện. Các quốc gia có thể trao đổi thông tin sự cố, cấm các quyết định phóng hạt nhân tự chủ, yêu cầu rà soát vũ khí, đặt ra các tiêu chuẩn kiểm tra, bảo vệ kiểm soát của con người đối với việc nhắm mục tiêu người, và thiết lập các kênh liên lạc cho các tai nạn liên quan đến AI.
Kiểm soát có ý nghĩa của con người đòi hỏi những gì
Cụm từ này nên mang tính vận hành. Một con người cần một mục tiêu và ranh giới mục tiêu dễ hiểu; thông tin đáng tin cậy về sự tự tin và giới hạn của hệ thống; đủ thời gian để can thiệp; một cơ chế dừng có thể sử dụng; và thẩm quyền pháp lý để từ chối. Giao diện nên kháng cự thiên kiến tự động hóa thay vì khuyến khích xác nhận nhanh chóng. Sau hành động, hồ sơ phải hỗ trợ điều tra và biện pháp khắc phục. Trang đồng hành của cẩm nang này về robot mặt đất, người máy, và luật chiến tranh xem xét cách yêu cầu kiểm soát của con người này thực sự đang được thực hiện—hay không—trong các robot mặt đất có vũ trang đã được triển khai ngày nay.
Kiểm soát cũng bắt đầu trước khi giao tranh. Các lãnh đạo chính trị quyết định việc mua sắm và học thuyết; các chỉ huy đặt ra các tham số; các kỹ sư chọn dữ liệu và bài kiểm tra. Chỉ tập trung vào việc nhấn nút cuối cùng bỏ qua những lựa chọn có hậu quả này.
Một kết luận có cân nhắc
Tính tự chủ trong vũ khí đã là một thực tế chính sách và chiến trường, nhưng bằng chứng công khai về các cuộc giao tranh cụ thể thường không đầy đủ. Báo cáo Kargu-2 không nên bị thổi phồng thành một vụ giết người tự chủ đã được chứng minh, và việc nhắm mục tiêu có giám sát không nên bị gắn nhãn sai là chiến tranh hoàn toàn độc lập.
Mối lo ngại thảm khốc dựa trên các con đường đáng tin cậy: quyết định nhanh hơn, phối hợp quy mô lớn, sự rà soát của con người mong manh, và tương tác với các hệ thống cảnh báo chiến lược. Không điều nào khiến sự leo thang là không thể tránh khỏi. Thẩm quyền mạnh mẽ của con người, thiết kế có thể kiểm toán, trách nhiệm giải trình pháp lý, các chuẩn mực chung, và các giới hạn rõ ràng xung quanh các chức năng hạt nhân và nhắm mục tiêu con người có thể làm giảm rủi ro trong khi bằng chứng tiếp tục phát triển.