Turing thực sự đã đề xuất điều gì
Vào năm 1950, Alan Turing đặt câu hỏi liệu máy móc có thể suy nghĩ hay không và nhanh chóng thay thế câu hỏi rối rắm về mặt triết học đó bằng một câu hỏi mang tính vận hành. Trong “trò chơi bắt chước” của ông, một người thẩm vấn con người giao tiếp bằng văn bản với một người và một máy móc và cố gắng xác định ai là ai. Turing đưa ra điều này như một cách để thảo luận về trí tuệ máy móc thông qua hành vi có thể quan sát được thay vì một bản chất nội tại không thể tiếp cận (Turing, “Computing Machinery and Intelligence”).
Ý tưởng này sâu sắc, nhưng cụm từ quen thuộc “vượt qua bài kiểm tra Turing” che giấu nhiều lựa chọn. Cuộc trò chuyện kéo dài bao lâu? Giám khảo biết gì? Những chủ đề nào được phép? Bao nhiêu giám khảo tham gia, và tỷ lệ lỗi nào tính là thành công? Turing không thiết lập một chương trình chứng nhận hiện đại với một ngưỡng chính thức duy nhất. Bài kiểm tra này là một thí nghiệm tư duy và một cột mốc nghiên cứu, không phải một công cụ đo lường của cơ quan quản lý AGI.
Vì sao cuộc trò chuyện trở nên quá dễ để đánh lừa
Trò chơi bắt chước thưởng cho một hệ thống vì tỏ ra giống con người trong một tương tác cụ thể. Điều đó có thể đạt được thông qua bề rộng thực sự, nhưng cũng thông qua sự né tránh, đóng vai, hài hước, những lỗi có chủ ý, hoặc khai thác kỳ vọng của giám khảo. Chatbot ban đầu ELIZA đã cho thấy vào những năm 1960 rằng con người dễ dàng chiếu sự hiểu biết lên các mẫu hình đàm thoại nông cạn. Các mô hình ngôn ngữ ngày nay tạo ra đối thoại mạch lạc hơn nhiều, khiến việc nhân cách hóa còn dễ dàng hơn.
Việc vượt qua một cuộc trò chuyện văn bản ngắn sẽ không chứng minh được khả năng lập kế hoạch đáng tin cậy, độ chính xác toán học, phán đoán khoa học, năng lực trong thế giới vật lý, hay khả năng phục hồi từ những sai lầm. Nó sẽ không cho thấy rằng mô hình có thể học một công việc mới, duy trì các mục tiêu qua một dự án dài, hay nhận ra khi nào nó nên nhường quyền cho con người. Ngược lại, một hệ thống phi ngôn ngữ mạnh mẽ có thể biến đổi khoa học hay hậu cần trong khi thất bại trong việc bắt chước một người nói chuyện thông thường. Sự tương đồng với con người không cần thiết cũng không đủ để có năng lực máy móc có hậu quả.
Bài kiểm tra này cũng trộn lẫn trí tuệ với sự lừa dối. Một hệ thống có thể bị phạt vì trung thực tự nhận mình là một cỗ máy và được thưởng vì thao túng một giám khảo tin vào điều ngược lại. Đó là một sự phù hợp kém cho đánh giá an toàn, nơi sự không chắc chắn được hiệu chuẩn, khả năng truy vết, và tiết lộ trung thực thường quan trọng hơn tính hợp lý xã hội.
Từ một bài kiểm tra đến một danh mục đánh giá
Đánh giá hiện đại sử dụng nhiều bộ nhiệm vụ vì trí tuệ mang tính đa chiều. Các bài đánh giá chuẩn kiến thức và lập luận kiểm tra các câu hỏi trên nhiều môn học; các đánh giá lập trình chạy các chương trình được tạo ra so với các trường hợp kiểm tra; các bài kiểm tra đa phương thức kết hợp văn bản, sơ đồ, hình ảnh, âm thanh, và video; các bài đánh giá chuẩn tác nhân đặt các mô hình vào môi trường tương tác nơi chúng phải điều hướng, sử dụng phần mềm, và hoàn thành mục tiêu.
Mỗi họ trả lời một câu hỏi hẹp. MMLU, ví dụ, lấy mẫu kiến thức trắc nghiệm học thuật và chuyên nghiệp, nhưng điểm cao không chứng minh được rằng một mô hình có thể hành nghề những ngành đó. GAIA kiểm tra các trợ lý trên các câu hỏi thế giới thực có thể đòi hỏi lập luận, công cụ, và nhiều bước (bài báo GAIA). OSWorld đánh giá các tác nhân sử dụng máy tính trên các ứng dụng hệ điều hành thực (bài báo OSWorld). ARC-AGI tập trung vào việc thích ứng với các nhiệm vụ lập luận thị giác mới lạ thay vì tái tạo kiến thức đã lưu trữ (bài đánh giá chuẩn ARC Prize). Những đánh giá này bộc lộ những điểm mạnh và chế độ thất bại khác nhau; không cái nào là một bộ dò AGI.
Các nghiên cứu hoàn thành nhiệm vụ bổ sung thêm một chiều thời gian và độ phức tạp. METR ước tính thời lượng nhiệm vụ của chuyên gia con người mà tại đó một tác nhân có một xác suất thành công nhất định. Bộ hiện tại của nó chủ yếu bao phủ kỹ thuật phần mềm, học máy, và an ninh mạng, và tổ chức này cảnh báo rõ ràng rằng “chân trời thời gian” là độ khó nhiệm vụ được đo bằng thời gian con người—không phải thời lượng mà một AI có thể vận hành độc lập (phương pháp luận của METR). Nó cũng cảnh báo rằng các nhiệm vụ bài đánh giá chuẩn được xác định rõ ràng sạch sẽ hơn hầu hết các công việc và hiệu suất khác biệt mạnh mẽ theo lĩnh vực.
Độ tin cậy thay đổi ý nghĩa của một điểm số
Hiệu suất trung bình là không đủ cho việc sử dụng rủi ro cao. Một hệ thống thành công một nửa thời gian có thể ấn tượng đối với nghiên cứu nhưng không thể sử dụng được trong y tế, hàng không, hay hạ tầng. Do đó các nhà đánh giá cần tỷ lệ thành công, các thử nghiệm lặp lại, hành vi trường hợp xấu nhất, các khoảng không chắc chắn, và các bài kiểm tra dưới sự dịch chuyển phân phối. Họ nên đo lường liệu một mô hình có biết khi nào nó không chắc chắn, tìm kiếm sự làm rõ, và trao quyền kiểm soát lại một cách an toàn hay không.
Cách thiết lập đánh giá quan trọng ngang với mô hình nền tảng. Quyền truy cập công cụ, cách diễn đạt lệnh nhắc, bộ nhớ, cài đặt lấy mẫu, tính toán tại thời điểm suy luận, và phần mềm tác nhân xung quanh có thể thay đổi đáng kể kết quả. Một điểm số thuộc về một cấu hình hệ thống đã được thử nghiệm tại một ngày đã nêu. Việc coi nó như một thuộc tính vĩnh cửu của một tên mô hình khuyến khích những so sánh sai lệch.
Sự nhiễm bẩn dữ liệu là một vấn đề khác. Các câu hỏi và giải pháp bài đánh giá chuẩn công khai có thể xuất hiện trong dữ liệu huấn luyện. Ngay cả khi không ghi nhớ nguyên văn, việc tinh chỉnh tập trung vào bài đánh giá chuẩn có thể cải thiện một điểm số mà không có sự khái quát hóa tương đương. Các đánh giá tốt hơn sử dụng các nhiệm vụ riêng tư hoặc mới được tạo ra, ghi lại khả năng phơi nhiễm, và làm mới thường xuyên. Thử nghiệm độc lập làm giảm—nhưng không loại bỏ—rủi ro rằng một nhà phát triển chỉ chọn lọc các kết quả thuận lợi.
Đánh giá an toàn hỏi những câu hỏi khác
Đánh giá năng lực đo lường những gì một hệ thống có thể làm dưới các điều kiện thuận lợi. Đánh giá an toàn hỏi nó có thể làm gì khi bị lạm dụng, chịu áp lực, bị lừa dối, được đưa ra các chỉ dẫn mâu thuẫn, hoặc đặt vào một môi trường có hậu quả. Các bài kiểm tra liên quan bao gồm sự hỗ trợ lạm dụng sinh học hoặc mạng, thao túng, tính tự chủ, né tránh biện pháp bảo vệ, lừa dối, và khả năng thu thập tài nguyên. Báo cáo An toàn AI Quốc tế 2026 nhấn mạnh rằng các đánh giá đối mặt với tính hợp lệ bên ngoài hạn chế, sự lỗi thời nhanh chóng, và quyền truy cập không đầy đủ vào các hệ thống tiên phong (Báo cáo An toàn AI Quốc tế 2026).
Các đội đỏ tìm kiếm một cách sáng tạo những thất bại, trong khi các bài đánh giá chuẩn có cấu trúc cho phép so sánh. Giám sát trong thế giới thực sau đó kiểm tra liệu các kết quả tiền triển khai có dự đoán được việc sử dụng thực tế hay không. Báo cáo sự cố là thiết yếu vì không bộ nhiệm vụ phòng thí nghiệm nào có thể liệt kê mọi bối cảnh. Một chế độ đánh giá nên kết nối kết quả với các quyết định: các biện pháp bảo vệ bổ sung, quyền truy cập công cụ bị hạn chế, phát hành theo giai đoạn, rà soát bên ngoài, hoặc tạm dừng triển khai khi một ngưỡng đã xác định bị vượt qua.
Một đánh giá AGI đáng tin cậy sẽ đòi hỏi điều gì
Khung “Các Cấp độ của AGI” của Google DeepMind lập luận rằng các đánh giá nên bao phủ cả hiệu suất lẫn tính tổng quát và nên xem xét sự tương tác giữa con người và AI mà qua đó năng lực được thể hiện (khung của DeepMind). Một đánh giá đáng tin cậy sẽ cần các lĩnh vực rộng, các nhiệm vụ thực sự mới lạ, nhiều cấp độ hiệu suất, và báo cáo rõ ràng về tính tự chủ. Nó sẽ kiểm tra sự chuyển giao, hiệu quả học tập, độ vững chắc, tương tác xã hội, và công việc mở—chứ không chỉ các câu hỏi thi.
Nó cũng sẽ cần sự tái lập độc lập và sự giám sát đối kháng. Các nhà phát triển nên công bố đủ phương pháp luận để diễn giải các tuyên bố mà không phơi bày các chi tiết nguy hiểm hoặc làm tổn hại các bài kiểm tra riêng tư. Kết quả nên tách biệt mô hình nền tảng khỏi các công cụ và giàn giáo, bao gồm các ví dụ thất bại, và tránh biến một con số tổng hợp duy nhất thành một phán quyết siêu hình.
Người kế nhiệm là một bảng theo dõi, không phải một vạch đích
Không bài kiểm tra hiện đại nào “thay thế” trò chơi của Turing theo nghĩa trở thành cổng được chấp nhận phổ quát đến AGI. Cái đã thay thế nó là một danh mục: các bài kiểm tra kiến thức, các nhiệm vụ lập luận mới lạ, môi trường tương tác, các phép đo chân trời nhiệm vụ, rà soát chuyên gia theo lĩnh vực, đánh giá năng lực nguy hiểm, và bằng chứng từ triển khai.
Câu trả lời đó ít kịch tính hơn một cỗ máy đánh lừa một giám khảo, nhưng hữu ích hơn. Câu hỏi đúng không còn là “Nó có vượt qua không?” Đó là: Hệ thống này có thể tin cậy làm được gì, dưới những điều kiện nào, với sự trợ giúp nào, và điều gì xảy ra khi các điều kiện thay đổi? Một bảng theo dõi minh bạch về bằng chứng có ghi ngày tháng cung cấp một hướng dẫn tốt hơn về năng lực và rủi ro so với bất kỳ vạch đích đơn lẻ nào.