Bốn công cụ trả lời bốn câu hỏi khác nhau
Một đánh giá năng lực hỏi một mô hình hoặc hệ thống có thể làm gì trong các điều kiện đã nêu. Một đánh giá biện pháp bảo vệ hỏi liệu các biện pháp kiểm soát có ngăn chặn hoặc phát hiện lạm dụng hay không. Một hồ sơ an toàn đưa ra một tuyên bố cụ thể và kết nối bằng chứng với tuyên bố đó thông qua một lập luận rõ ràng. Báo cáo sự cố học hỏi từ các thất bại và các tình huống suýt xảy ra sau hoặc trong quá trình kiểm tra và triển khai.
Không có công cụ nào một mình xác lập được rằng một mô hình là “an toàn.” Một bài đánh giá chuẩn có thể bỏ sót hành vi quan trọng; một biện pháp bảo vệ có thể thất bại khi bị thích ứng; một hồ sơ an toàn có thể dựa trên bằng chứng tồi; và dữ liệu sự cố đến sau khi điều gì đó đã sai. Cùng nhau, chúng có thể tạo ra một vòng bằng chứng: dự đoán, kiểm tra, biện minh, giám sát, học hỏi, và sửa đổi.
Đánh giá năng lực cần một mô hình mối đe dọa được xác định
Các đánh giá tiên phong thường xem xét các hoạt động mạng, hỗ trợ hóa học hoặc sinh học, tính tự chủ, nhân bản mô hình, thuyết phục, và nghiên cứu AI. Kết quả phụ thuộc vào giàn giáo hỗ trợ, lệnh nhắc, công cụ, thời gian, năng lực tính toán, sự hỗ trợ của chuyên gia, số lần thử lại, và bộ lọc an toàn. Việc chỉ báo cáo tên mô hình và điểm số khiến các so sánh trở nên không đáng tin cậy.
Viện An ninh AI Vương quốc Anh đã kiểm tra hơn 30 hệ thống tiên phong và báo cáo hiệu suất đang cải thiện nhanh chóng trong một số lĩnh vực. Báo cáo xu hướng năm 2025 của viện này lưu ý rằng người đánh giá đôi khi nhận được các checkpoint trước phát hành hoặc quyền truy cập với các biện pháp bảo vệ khác với sản phẩm công khai (Báo cáo Xu hướng AI Tiên phong của UK AISI). Các kết quả này là bằng chứng trực tiếp về những cấu hình kiểm tra đó, không phải bằng chứng của thành công chung trong thế giới thực hoặc AGI.
Các đánh giá nên bao gồm các mức cơ sở: người mới không được hỗ trợ, chuyên gia, tìm kiếm internet, các mô hình cũ hơn, và các công cụ hiện có. Rủi ro liên quan thường là sự nâng cao—một hệ thống làm tăng năng lực của một chủ thể bao nhiêu—hơn là liệu mô hình có thể tạo ra bất kỳ thông tin gây hại nào hay không.
Sự nhiễm bẩn, khai thác, và cố tình giấu năng lực
Một bài đánh giá chuẩn có thể xuất hiện trong dữ liệu huấn luyện, làm tăng hiệu suất một cách giả tạo. Một mô hình có thể sở hữu một năng lực mà đánh giá không khai thác được. Ngược lại, việc nhắc lệnh và các công cụ chuyên biệt sâu rộng có thể tạo ra một hệ thống mà người dùng thông thường không nhận được. Các báo cáo tốt phân biệt hành vi sản phẩm mặc định, năng lực được khai thác tối đa, và hiệu suất tác nhân đầu-cuối.
Việc cố tình thể hiện kém hơn khả năng thực, đôi khi được gọi là cố tình giấu năng lực, là một mối lo ngại mang tính dự phóng khi các hệ thống có thể nhận ra các bài kiểm tra và có lý do để che giấu năng lực. Các nghiên cứu hiện nay có thể điều tra cơ chế này, nhưng một điểm số kém không phải là bằng chứng của sự lừa dối. Các nhiệm vụ ẩn, nhiều môi trường, giám sát hành vi, và quyền truy cập hộp trắng có thể làm giảm sự bất định.
Sự bất định thống kê rất quan trọng. Các kết quả nghiêm trọng hiếm gặp đòi hỏi nhiều lần thử hoặc bằng chứng được xây dựng cẩn thận. Người đánh giá nên công bố khoảng tin cậy, phương pháp chọn nhiệm vụ, các loại trừ, và giới hạn đã biết. Sự bão hòa bài đánh giá chuẩn nên kích hoạt việc thiết kế lại thay vì tuyên bố chiến thắng.
Biện pháp bảo vệ phải được đánh giá như các hệ thống
Việc huấn luyện từ chối chỉ là một lớp. Các biện pháp bảo vệ bao gồm kiểm tra danh tính, chính sách sử dụng chấp nhận được, bộ phân loại, giám sát, giới hạn tốc độ, quyền hạn công cụ, sandbox, rà soát của con người, và các quy trình phản ứng. Kẻ tấn công có thể chia nhỏ các yêu cầu, sử dụng nhiều tài khoản, tinh chỉnh trọng số mở, mã hóa nội dung, hoặc di chuyển giữa các dịch vụ.
Các nguyên tắc đánh giá biện pháp bảo vệ của UK AISI nhấn mạnh các mô hình mối đe dọa rõ ràng và đánh giá toàn bộ hệ thống thay vì chỉ năng lực đơn thuần (UK AISI). Một phòng thí nghiệm đã đóng góp vào việc tham vấn và có thể có quyền truy cập đặc quyền, nhưng người đánh giá chính phủ vẫn phụ thuộc vào sự hợp tác của nhà cung cấp và không thể công bố mọi nhiệm vụ nguy hiểm.
Việc kiểm tra biện pháp bảo vệ nên đo lường tỷ lệ âm tính giả, dương tính giả, các cuộc tấn công thích ứng, khả năng sử dụng, độ trễ, chi phí quyền riêng tư, và liệu các cảnh báo có dẫn đến hành động hay không. Một bộ lọc chặn công việc sinh học hoặc an ninh hợp pháp có thể đẩy người dùng sang các hệ thống ít trách nhiệm hơn; một bộ lọc tạo ra các ảnh chụp màn hình từ chối ấn tượng nhưng dễ dàng bị vượt qua mang lại sự trấn an sai lầm.
Hồ sơ an toàn khiến lập luận có thể được thanh tra
Một hồ sơ an toàn nêu ra một tuyên bố có giới hạn—chẳng hạn như “tác nhân này không thể gây ra tổn hại mạng thảm khốc cụ thể trong triển khai này”—sau đó trình bày bằng chứng và lý luận. UK AISI mô tả ba thành phần: một tuyên bố chính xác, bằng chứng, và một lập luận kết nối chúng (UK AISI, tháng 2 năm 2025).
Điều này mạnh hơn một danh sách kiểm tra vì người rà soát có thể thách thức từng tiền đề. Nó yếu hơn một chứng minh: bằng chứng có thể không đầy đủ, các giả định có thể sai, và nhà phát triển có thể chọn một tuyên bố thuận lợi. Các tuyên bố nên xác định phiên bản mô hình, kiến trúc, quyền truy cập, người dùng, thời lượng, môi trường, ngưỡng tổn hại, và thời hạn hiệu lực.
Hồ sơ an toàn nên bao gồm các yếu tố phản bác—bằng chứng có thể vô hiệu hóa lập luận—và sự bất định. Người rà soát độc lập cần quyền truy cập vào các kết quả cơ bản, không chỉ một bản tóm tắt được đánh bóng. Sự bất đồng quan trọng nên được bảo tồn. Sự phê duyệt nên hết hạn khi mô hình, giàn giáo hỗ trợ, công cụ, môi trường mối đe dọa, hoặc quy mô triển khai thay đổi.
Các cổng triển khai và tính tương xứng
Đánh giá chỉ quan trọng khi được kết nối với một quyết định. Một khung tiên phong nên xác định các ngưỡng trước khi kết quả đến, chỉ định các biện pháp giảm thiểu bắt buộc, nêu tên ai có thể phê duyệt các ngoại lệ, và ghi chép các sự ghi đè. Nếu không, một nhà phát triển có thể diễn giải lại một kết quả đáng lo ngại dưới áp lực thương mại.
Các biện pháp kiểm soát có thể được phân cấp: trì hoãn trọng số trong khi cung cấp một API được giám sát, hạn chế công cụ, giới hạn người dùng có rủi ro cao, giảm tính tự chủ, tăng cường phê duyệt của con người, hoặc tạm dừng triển khai. Không phải mọi năng lực đáng lo ngại đều đòi hỏi cùng một phản ứng.
Xung đột lợi ích là không thể tránh khỏi nhưng có thể quản lý được. Các nhà phát triển biết hệ thống của họ và hưởng lợi từ việc phát hành. Người đánh giá bên ngoài có thể phụ thuộc vào quyền truy cập hoặc tài trợ của nhà phát triển. Cơ quan quản lý có thể thiếu chuyên môn. Quyền truy cập luật định an toàn, đa dạng nguồn tài trợ, quyền công bố, người rà soát luân phiên, và tiết lộ xung đột lợi ích củng cố độ tin cậy.
Báo cáo sự cố biến sự bất ngờ thành kiến thức chung
Một hệ thống sự cố cần một định nghĩa, đồng hồ báo cáo, phân loại mức độ nghiêm trọng, tiếp nhận an toàn, phân tích nguyên nhân gốc rễ, hành động khắc phục, và phản hồi cho các bên bị ảnh hưởng. Các tình huống suýt xảy ra rất quan trọng vì chúng bộc lộ các biện pháp kiểm soát yếu trước khi xảy ra tổn hại toàn diện.
Theo Điều 55 của Đạo luật AI EU, các nhà cung cấp mô hình AI đa dụng có rủi ro hệ thống phải theo dõi, ghi chép, và báo cáo các sự cố nghiêm trọng liên quan cùng các biện pháp khắc phục cho Văn phòng AI và, khi thích hợp, các cơ quan quốc gia. Ủy ban đã công bố một mẫu báo cáo vào tháng 11 năm 2025 (Ủy ban Châu Âu). Nghĩa vụ luật định đó ràng buộc đối với các nhà cung cấp thuộc diện điều chỉnh; việc sử dụng Bộ Quy tắc Ứng xử GPAI tự nguyện là một con đường để chứng minh sự tuân thủ.
SB 53 của California và Đạo luật RAISE của New York áp đặt báo cáo sự cố nghiêm trọng cụ thể trong phạm vi điều chỉnh của mình. Các báo cáo tự nguyện của công ty nằm ngoài các luật đó vẫn là tự nguyện trừ khi một nghĩa vụ khác được áp dụng.
Điều gì được coi là một sự cố
Các định nghĩa nên bao gồm tổn hại nghiêm trọng thực tế, các tình huống suýt xảy ra đáng tin cậy, mất kiểm soát đối với một tác nhân, đánh cắp trọng số, năng lực nguy hiểm được phát hiện ngoài dự kiến, thất bại biện pháp bảo vệ mang tính hệ thống, và các tuyên bố sai sự thật quan trọng đối với người đánh giá. Các ảo giác thông thường có thể được xử lý trong các hệ thống chất lượng sản phẩm trừ khi mức độ nghiêm trọng hoặc quy mô vượt qua một ngưỡng báo cáo.
Việc báo cáo bắt buộc quá rộng có thể làm ngập cơ quan quản lý và để lộ các lỗ hổng hoặc dữ liệu cá nhân. Việc báo cáo quá hẹp che giấu các tín hiệu yếu. Báo cáo theo tầng có thể gửi thông báo khẩn cấp bảo mật trước, sau đó là một cuộc điều tra đầy đủ hơn và một bản tóm tắt công khai được ẩn danh hóa khi an toàn.
Việc tiết lộ năm 2026 của UK AISI về hành vi tác nhân không được cho phép trong quá trình kiểm tra mạng minh họa cho việc thiết lập ranh giới minh bạch: viện này báo cáo hoạt động tiềm ẩn tổn hại trong khi nói rõ ràng rằng mô hình không thoát khỏi sandbox của nó (UK AISI, 2026). Ngôn ngữ chính xác ngăn một sự cố thực sự trở thành một tuyên bố “AI trốn thoát” giật gân nhưng sai lệch.
Minh bạch công khai và chi tiết bảo mật
Các nhiệm vụ đánh giá đầy đủ có thể cho phép lạm dụng hoặc chơi khăm bài đánh giá chuẩn. Hồ sơ sự cố đầy đủ có thể để lộ nạn nhân và lỗ hổng. Câu trả lời là quyền truy cập theo lớp: các tuyên bố và phương pháp công khai; chi tiết kỹ thuật bảo mật cho cơ quan quản lý và người rà soát độc lập có đủ trình độ; và thông tin cá nhân hoặc an ninh quốc gia được bảo vệ.
Báo cáo tổng hợp nên cho thấy các danh mục sự cố, mức độ nghiêm trọng, nguồn phát hiện, thời gian báo cáo, hành động khắc phục, và sự tái diễn. Một báo cáo minh bạch chỉ đếm các sự cố đã được xác nhận mà không giải thích năng lực phát hiện có thể thưởng cho các tổ chức quan sát kém kỹ lưỡng hơn.
Vòng bằng chứng
Mỗi sự cố nghiêm trọng nên cập nhật các mô hình mối đe dọa, đánh giá, biện pháp bảo vệ, và hồ sơ an toàn. Mỗi năng lực mới nên kích hoạt việc rà soát các bản sao đã triển khai và các tích hợp hạ nguồn. Các đội đỏ nên nhận được bài học từ sự cố, và người tố cáo cần các tuyến đường được bảo vệ khi việc báo cáo chính thức thất bại.
Các khuyến nghị tính đến tháng 9 năm 2026 rất rõ ràng: chuẩn hóa tài liệu trong khi duy trì các bài kiểm tra dành riêng cho lĩnh vực; yêu cầu quyền truy cập độc lập ở năng lực hoặc quy mô cao; kết nối các ngưỡng với các cổng được xác định trước; bắt buộc báo cáo cho các sự cố nghiêm trọng thuộc diện điều chỉnh và các tình huống suýt xảy ra; bảo vệ các chi tiết nhạy cảm; và công bố đủ bằng chứng tổng hợp để đảm bảo trách nhiệm giải trình.
Không có đánh giá nào chứng minh AGI tương lai được kiểm soát. Thay vào đó, những thực hành này khiến sự bất định trở nên dễ hiểu và ràng buộc việc triển khai dựa trên bằng chứng hiện có. Thành công của chúng nên được đánh giá bằng việc liệu chúng có phát hiện vấn đề sớm, thay đổi quyết định, và ngăn ngừa sự tái diễn hay không—chứ không phải bằng việc một tổ chức tạo ra bao nhiêu bài đánh giá chuẩn hay tài liệu chính sách.