Một quy luật mở rộng quy mô là một mối quan hệ thực nghiệm
Trong học máy, một quy luật mở rộng quy mô mô tả cách một đại lượng đo lường được thay đổi khi một đầu vào tăng lên. Đối với các mô hình ngôn ngữ lớn, các nhà nghiên cứu phát hiện rằng độ mất mát huấn luyện thường cải thiện theo một cách tương đối trơn tru, có thể dự đoán được khi kích thước mô hình, dữ liệu huấn luyện, và tính toán tăng lên. Công trình năm 2020 của OpenAI báo cáo các mối quan hệ dạng luật lũy thừa trên các phạm vi được thử nghiệm (Kaplan và cộng sự). Nghiên cứu “Chinchilla” sau đó của DeepMind cho thấy rằng, dưới một ngân sách tính toán cố định, nhiều mô hình đã được huấn luyện trên quá ít dữ liệu và rằng các tham số cùng token huấn luyện nên được mở rộng quy mô đồng đều hơn (Hoffmann và cộng sự).
Những kết quả này quan trọng vì chúng khiến các đợt huấn luyện tốn kém trở nên dễ dự đoán hơn. Một phòng thí nghiệm có thể chạy các thí nghiệm nhỏ hơn, ước tính độ mất mát sẽ thay đổi như thế nào ở quy mô lớn hơn, và phân bổ ngân sách giữa dữ liệu, tham số, và tính toán. Nhưng quy luật này mô tả các phép đo bên trong một chế độ đã được quan sát. Đó không phải là một sự đảm bảo vật lý rằng mọi năng lực sẽ cải thiện vô hạn hoặc rằng đủ số lượng bộ xử lý đồ họa sẽ tự động tạo ra AGI.
Năng lực tính toán chỉ là một thành phần
“Năng lực tính toán” thường có nghĩa là số phép toán số học được sử dụng trong huấn luyện hoặc suy luận, nhưng ngay cả cách nói tắt đó cũng che giấu những khác biệt quan trọng. Hai đợt huấn luyện với cùng số phép toán danh nghĩa có thể tạo ra các hệ thống khác nhau vì mức độ sử dụng chip, độ chính xác số học, chất lượng dữ liệu, kiến trúc, tối ưu hóa, và phần mềm. Các cải tiến thuật toán có thể đạt được hiệu suất tốt hơn từ cùng một phần cứng. Tinh chỉnh, truy xuất, công cụ, bộ nhớ, và giàn giáo tác nhân có thể thay đổi đáng kể hành vi được triển khai sau khi tiền huấn luyện.
Dữ liệu quan trọng cả về số lượng lẫn thành phần. Các ví dụ trùng lặp, chất lượng thấp, hoặc bị nhiễm bẩn không tương đương với thông tin được lựa chọn cẩn thận. Dữ liệu tổng hợp có thể mở rộng hoặc nhắm mục tiêu một tập ngữ liệu, nhưng lỗi có thể bị khuếch đại nếu việc tạo và lọc kém. Quyền dữ liệu, quyền riêng tư, độ bao phủ ngôn ngữ, và tính đại diện cũng ảnh hưởng đến những gì một mô hình học được.
Tính toán tại thời điểm suy luận bổ sung thêm một chiều nữa. Một số hệ thống chi thêm phép toán để tạo và kiểm tra các ứng viên trung gian cho một câu hỏi khó. Điều này có thể cải thiện hiệu suất mà không thay đổi mô hình đã được tiền huấn luyện, nhưng nó làm tăng chi phí và độ trễ và không đảm bảo tính chính xác. Một cuộc thảo luận đầy đủ về mở rộng quy mô hiện nay cần ít nhất năng lực tính toán huấn luyện, năng lực tính toán suy luận, dữ liệu, thuật toán, và hệ thống xung quanh.
Đường cong mất mát không phải là đường cong năng lực
Độ mất mát huấn luyện đo lường sai số dự đoán trung bình trên các tập dữ liệu khổng lồ. Một sự giảm mất mát trơn tru có thể đi kèm với những thay đổi không đồng đều trên các nhiệm vụ hướng đến con người. Một bài đánh giá chuẩn có thể cho thấy một ngưỡng vì một cải tiến tiềm ẩn cuối cùng vượt qua mức đạt của nó, vì mô hình học được một số kỹ năng con cần thiết, hoặc vì việc chấm điểm chuyển đổi tiến bộ dần dần thành một kết quả nhị phân. Các khả năng khác có thể cải thiện trơn tru, giữ nguyên, hoặc thoái lui sau khi tinh chỉnh an toàn hoặc thay đổi hệ thống.
Sự phân biệt này ngăn ngừa hai sai lầm đối lập. Sai lầm thứ nhất là giả định rằng một đường cong mất mát có thể dự đoán được làm cho mọi hành vi tương lai đều có thể dự đoán được. Không phải vậy. Sai lầm thứ hai là tuyên bố rằng mọi lợi ích năng lực đều là những bước nhảy bí ẩn không liên tục. Nhiều lợi ích bài đánh giá chuẩn có vẻ đột ngột trở nên trơn tru hơn khi các nhà nghiên cứu sử dụng các thước đo liên tục hoặc các bài kiểm tra thông tin hơn (Schaeffer, Miranda và Koyejo, 2023). Cả sự không chắc chắn lẫn khả năng dự đoán một phần đều có thể đúng cùng lúc.
Mở rộng quy mô cũng tương tác với thiết kế đánh giá. Các bài kiểm tra công khai có thể bão hòa hoặc rò rỉ vào dữ liệu huấn luyện. Một mô hình có thể cải thiện ở việc làm bài kiểm tra mà không có lợi ích tương đương về độ tin cậy trong thế giới thực. Ngược lại, các bài đánh giá chuẩn hiện có có thể bỏ sót những năng lực hữu ích. Cần có nhiều đánh giá, các nhiệm vụ riêng tư, đánh giá của chuyên gia con người, và bằng chứng triển khai để diễn giải những gì mà sự giảm mất mát đã mua được.
Nơi xu hướng có thể uốn cong
Năng lực vật lý không phải là vô hạn. Huấn luyện và phục vụ tiên phong phụ thuộc vào chip tiên tiến, bộ nhớ băng thông cao, mạng lưới, điện, làm mát, đất đai, xây dựng, và chuỗi cung ứng. Cơ quan Năng lượng Quốc tế kỳ vọng nhu cầu điện của trung tâm dữ liệu sẽ tăng đáng kể đến năm 2030, trong khi nhấn mạnh sự không chắc chắn và sự tập trung địa lý mạnh mẽ (IEA, Energy and AI). Sự chậm trễ lưới điện địa phương có thể quan trọng ngay cả khi năng lượng toàn cầu là đủ.
Dữ liệu do con người tạo ra chất lượng cao cũng có hạn, mặc dù tác động của giới hạn đó phụ thuộc vào các nguồn dữ liệu mới, huấn luyện đa phương thức, dữ liệu tổng hợp, và việc sử dụng hiệu quả hơn các tập ngữ liệu hiện có. Các giới hạn kinh tế có thể đến trước các giới hạn kỹ thuật: một mô hình lớn hơn phải tạo ra đủ giá trị để biện minh cho chi phí huấn luyện, phục vụ, và chi phí cơ hội. Độ trễ và băng thông bộ nhớ có thể hạn chế sản phẩm ngay cả khi tổng số phép toán khả dụng.
Lợi nhuận giảm dần được xây dựng sẵn trong mở rộng quy mô. Một luật lũy thừa có thể tiếp tục trong khi mỗi cải tiến bổ sung đòi hỏi chi phí lớn hơn nhiều. Điều đó không có nghĩa là tiến bộ dừng lại, nhưng nó thay đổi kinh tế học. Một kiến trúc hoặc thuật toán mới có thể dịch chuyển đường cong, trong khi an toàn, độ tin cậy, hoặc hiện thân vật lý có thể đòi hỏi những tiến bộ không được nắm bắt bởi độ mất mát dự đoán token tiếp theo. Không ai có thể xác định từ các quy luật mở rộng quy mô hiện tại một mình nơi những đột phá đó sẽ xảy ra.
Vì sao năng lực tính toán vẫn là một đòn bẩy quản trị
Bất chấp những cảnh báo này, năng lực tính toán tiên tiến có tính vật lý và tập trung một cách bất thường. Các con chip tiên tiến nhất được sản xuất thông qua một chuỗi cung ứng toàn cầu hẹp, và các cụm huấn luyện lớn nhất đòi hỏi vốn, điện năng, và mạng lưới có thể quan sát được. Do đó các chính phủ sử dụng kiểm soát xuất khẩu chip, yêu cầu báo cáo, và quy tắc trung tâm dữ liệu như những đại lượng thay thế cho năng lực tiên phong. Năng lực tính toán có thể dễ giám sát hơn thuật toán hoặc phần mềm bị sao chép.
Đại lượng thay thế này không hoàn hảo. Các ngưỡng có thể trở nên lỗi thời khi thuật toán trở nên hiệu quả hơn. Huấn luyện và suy luận phân tán làm phức tạp việc kiểm đếm. Một quy tắc về năng lực tính toán có thể gây gánh nặng cho nghiên cứu hợp pháp, củng cố các doanh nghiệp lớn hiện có, hoặc khuyến khích việc né tránh nếu được soạn thảo kém. Năng lực tính toán huấn luyện cũng bỏ sót các hệ thống có năng lực được lắp ráp thông qua tinh chỉnh, sử dụng công cụ, hoặc nhiều lệnh gọi suy luận. Chính sách hiệu quả nên cập nhật các ngưỡng, tính đến hiệu quả, bảo vệ quyền riêng tư, và tập trung nghĩa vụ vào rủi ro thay vì coi các phép toán là tổn hại.
Quản trị năng lực tính toán mạnh nhất khi được kết hợp với đánh giá năng lực. Năng lực tính toán có thể xác định những đợt chạy đáng để xem xét kỹ; các đánh giá có thể kiểm tra liệu một hệ thống kết quả có vượt qua ngưỡng năng lực nguy hiểm hay không; giám sát triển khai có thể phát hiện lạm dụng và thất bại. Không một thước đo nào nên gánh toàn bộ trọng lượng quản lý.
Mở rộng quy mô không giải quyết dứt điểm các dòng thời gian AGI
Đầu tư nhanh chóng là bằng chứng rằng các nhà phát triển kỳ vọng lợi nhuận từ các hệ thống lớn hơn và hiệu quả hơn. Mở rộng quy mô lịch sử là bằng chứng rằng các tài nguyên bổ sung thường đã cải thiện hiệu suất đo lường được. Không điều nào chứng minh được một ngày cụ thể cho AGI. Các dự báo phải mô hình hóa phần cứng, năng lượng, dữ liệu, thuật toán, suy luận, độ tin cậy, và định nghĩa của chính AGI.
Các tuyên bố rằng “mở rộng quy mô đã dừng lại” đòi hỏi phải chỉ rõ thước đo và hệ thống nào. Các tuyên bố rằng “mở rộng quy mô là tất cả những gì cần thiết” đòi hỏi phải cho thấy rằng những khoảng cách còn lại có thể được thu giảm về cùng xu hướng đó. Giữa những khẩu hiệu đó là lập trường có thể bảo vệ được: các quy luật mở rộng quy mô nằm trong số những quy luật thực nghiệm hữu ích nhất trong AI hiện đại, nhưng chúng dự đoán các mức trung bình trong phạm vi chế độ tốt hơn là dự đoán các hậu quả xã hội mang tính định tính.
Những gì độc giả nên hỏi
Khi một mô hình mới được quy cho là do mở rộng quy mô, hãy hỏi tài nguyên nào đã tăng, tăng bao nhiêu, và so với đường cơ sở nào. So sánh đó có tối ưu về mặt tính toán hay không? Dữ liệu hoặc thuật toán có thay đổi không? Lợi ích được báo cáo là về độ mất mát huấn luyện, một bài đánh giá chuẩn, công việc chuyên gia, hay một kết quả triển khai? Độ tin cậy và chi phí trông như thế nào? Kết quả có thể được tái lập độc lập hay không?
Những câu hỏi đó bảo tồn bài học thực sự của các quy luật mở rộng quy mô mà không biến nó thành huyền thoại. Nhiều năng lực tính toán hơn đã liên tục cho phép tạo ra các mô hình tốt hơn. Đó là một đầu vào công nghiệp chính và một điểm giám sát thực tế. Đó không phải là một đơn vị trí tuệ phổ quát, một đảm bảo về hành vi an toàn, hoặc một đồng hồ đếm ngược đến AGI.