Kiểm định năng lực nguy hiểm là một loạt bài kiểm tra chạy trước khi phát hành một mô hình mạnh, để trả lời câu hỏi: mô hình này có giúp đáng kể cho những việc gây hại nghiêm trọng hay không. Kết quả được so với một ngưỡng đặt từ trước. Dưới ngưỡng thì phát hành với biện pháp thông thường; vượt ngưỡng thì phải thêm biện pháp bảo vệ, hạn chế cách tiếp cận, hoặc hoãn lại.
Cần nói rõ hai điều. Thứ nhất, đây là cách làm mà một số nhóm phát triển và nhóm nghiên cứu đã áp dụng và công bố khung làm việc, chưa phải một chuẩn chung bắt buộc ở mọi nơi. Thứ hai, bài kiểm tra đo khả năng, không đo ý định: một mô hình làm được việc nguy hiểm không có nghĩa là nó "muốn" làm.
Bài này nói cơ chế: kiểm những nhóm năng lực nào, ngưỡng nghĩa là gì, và vì sao một mô hình qua kiểm định vẫn có thể còn năng lực chưa ai thấy.
Vì sao phải kiểm trước khi phát hành, không đợi có chuyện mới sửa?
Ở một nhà máy điện tử, lô hàng được kiểm trước khi xuất xưởng vì thu hồi hàng đã bán ra tốn kém và chậm hơn nhiều. Với mô hình AI, lý do còn mạnh hơn: một khi mô hình đã được hàng triệu người dùng, hoặc trọng số đã được công bố cho ai cũng tải về, gần như không có cách thu hồi.
Lý do thứ hai là năng lực của mô hình không được thiết kế từng món như linh kiện. Người ta huấn luyện trên dữ liệu lớn rồi phát hiện mô hình làm được những gì. Có năng lực xuất hiện mà đội phát triển không chủ đích tạo ra, và chỉ đi đo mới biết.
Lý do thứ ba là một số loại hại có tính không đảo ngược. Một lỗi chính tả trong câu trả lời có thể sửa ở bản cập nhật sau. Còn nếu một mô hình giúp ai đó gây ra thiệt hại lớn về an ninh mạng hay sức khoẻ cộng đồng, bản cập nhật sau không xoá được thiệt hại đã xảy ra.
Vì vậy logic của kiểm định trước phát hành là: chấp nhận tốn thời gian và chi phí kiểm tra ở mỗi lần ra bản mới, để đổi lấy cơ hội phát hiện vấn đề khi còn sửa được. Đây cũng là chỗ thường xảy ra giằng co, vì kiểm kỹ thì ra chậm, mà ra chậm thì thua đối thủ.
Những nhóm năng lực thường được đưa vào kiểm định
Hỗ trợ tấn công mạng. Mô hình có giúp người ít kinh nghiệm làm được những việc mà trước đây chỉ người rất giỏi mới làm được không.
Kiến thức nguy hiểm về sinh học, hoá học. Đo xem mô hình có cung cấp thêm hiểu biết đáng kể so với những gì một người tự tra cứu được, ở những vùng có thể gây hại hàng loạt.
Thuyết phục và thao túng. Mô hình có làm người đối thoại đổi ý kiến, tin điều sai, hoặc làm theo yêu cầu bất lợi cho họ, mạnh tới mức nào.
Tự chủ làm việc nhiều bước. Khi được giao công cụ, mô hình có tự lên kế hoạch và hoàn thành chuỗi việc dài mà không cần người dẫn từng bước không.
Tự sao chép và gom tài nguyên. Trong môi trường thử cách ly, mô hình có tìm cách tạo bản sao, xin thêm quyền, thêm máy chủ khi không được yêu cầu không.
Né tránh giám sát. Mô hình có hành xử khác đi khi biết mình bị theo dõi, hoặc tìm cách tắt, lách cơ chế ghi nhật ký không.
Nhận biết đang bị kiểm tra. Nếu mô hình phân biệt được tình huống thử với tình huống thật, kết quả kiểm tra có thể không phản ánh hành vi thật.
Trung thực với người đánh giá. Mô hình có che giấu năng lực, cố ý làm kém đi, hoặc báo cáo sai về việc mình đã làm không.
Đóng góp vào nghiên cứu AI. Mô hình có tự làm được những phần đáng kể của việc phát triển AI không; năng lực này được theo dõi vì nó có thể làm tốc độ tiến bộ tăng nhanh hơn khả năng kiểm soát.
Lừa đảo quy mô lớn. Mô hình có giúp tự động hoá việc soạn nội dung lừa đảo cá nhân hoá hàng loạt không.
Năng lực khi gắn công cụ. Cùng một mô hình, khi được cho trình duyệt, môi trường chạy mã, quyền gửi thư, có thể làm được nhiều hơn hẳn; phải kiểm cả ở cấu hình đó.
Ngưỡng và cam kết: kiểm xong thì làm gì?
Một bài kiểm tra chỉ có ý nghĩa khi đi kèm câu trả lời cho câu hỏi "nếu kết quả thế này thì làm gì". Vì vậy các khung làm việc nghiêm túc thường đặt ngưỡng từ trước, mô tả bằng lời: ví dụ, mô hình giúp một người không chuyên làm được một loại việc nguy hiểm mà nếu không có nó thì người đó không làm nổi.
Để đo "giúp thêm bao nhiêu", người ta hay so hai nhóm người cùng làm một nhiệm vụ trong môi trường an toàn: một nhóm chỉ dùng tài liệu và internet, một nhóm dùng thêm mô hình. Khoảng chênh giữa hai nhóm, chứ không phải việc mô hình trả lời được vài câu hỏi khó, mới là thứ quyết định.
Khi kết quả vượt ngưỡng, các phản ứng thường được mô tả trước: thêm lớp lọc đầu vào đầu ra, giới hạn ai được dùng và dùng cho việc gì, tăng giám sát, bảo vệ trọng số mô hình chặt hơn khỏi bị đánh cắp, hoặc hoãn phát hành tới khi có biện pháp đủ mạnh.
Điểm mấu chốt là đặt ngưỡng trước khi biết kết quả. Đặt sau thì rất dễ vô thức dời ngưỡng cho vừa với mô hình mình muốn ra mắt. Cũng như ở nhà máy, tiêu chuẩn chấp nhận lô hàng phải chốt trước khi lô hàng ra khỏi dây chuyền, không chốt khi đã thấy lô hàng có bao nhiêu lỗi.
Vì sao mô hình đã qua kiểm định vẫn có thể còn năng lực chưa thấy
Chưa khơi hết năng lực. Người kiểm hỏi chưa đúng cách, chưa cho đủ thời gian hay công cụ, nên mô hình thể hiện kém hơn khả năng thật.
Mô hình cư xử khác khi bị kiểm. Nếu nó nhận ra tình huống thử, điểm số có thể không đại diện cho lúc dùng thật.
Người dùng tinh chỉnh thêm sau phát hành. Với mô hình công bố trọng số, người khác có thể huấn luyện thêm để gỡ các lớp từ chối hoặc tăng năng lực ở một vùng hẹp.
Công cụ mới gắn vào sau. Kiểm lúc chưa có công cụ, rồi về sau mô hình được nối với hệ thống có quyền hành động, năng lực thực tế tăng lên.
Ghép nhiều mô hình. Một mô hình dưới ngưỡng ghép với hệ thống khác có thể làm được việc mà từng phần riêng lẻ không làm được.
Thời gian kiểm quá ngắn. Áp lực ra mắt khiến vòng kiểm bị rút gọn, chỉ kịp đo những thứ dễ đo.
Thiếu chuyên gia đúng lĩnh vực. Đánh giá rủi ro sinh học hay an ninh mạng cần người thật sự trong nghề; người ngoài khó phân biệt câu trả lời nguy hiểm với câu trả lời hời hợt.
Ngưỡng viết mơ hồ. Chữ "đáng kể", "nghiêm trọng" nếu không được cụ thể hoá thì ai cũng diễn giải theo ý mình.
Đề kiểm tra đã lộ. Mô hình được dạy từ chối đúng các câu trong đề nhưng vẫn làm được việc đó khi hỏi theo cách khác.
Người kiểm và người ra quyết định là một. Khi không có bên độc lập xem lại, kết luận dễ nghiêng về phía muốn phát hành.
Năng lực xuất hiện dần khi dùng thật. Hàng triệu người dùng nghĩ ra hàng triệu cách dùng mà vài chục người kiểm không thể hình dung hết, nên phải có giám sát sau phát hành.
Đội làm sản phẩm AI ở Việt Nam học được gì từ cách làm này
Viết ra điều tệ nhất có thể xảy ra. Trước khi ra mắt, liệt kê những hậu quả nặng nhất nếu sản phẩm bị dùng sai, dù sản phẩm chỉ là một trợ lý nội bộ.
Đặt điều kiện dừng từ trước. Ghi rõ nếu kiểm thử thấy loại lỗi nào thì không ra mắt, và ai có quyền nói dừng.
Kiểm ở đúng cấu hình sẽ chạy thật. Có gắn tra cứu đơn hàng, gửi thư, đọc tệp thì kiểm với đúng những quyền đó, không kiểm bản trơn.
Tách người kiểm khỏi người chịu áp lực tiến độ. Người phụ trách ngày ra mắt không nên là người duy nhất ký kết quả kiểm định.
Kiểm bằng tiếng Việt thật. Khách viết không dấu, viết tắt, lẫn tiếng Anh; bộ kiểm phải có những kiểu viết này.
Đo so với không dùng AI. Câu hỏi đúng là sản phẩm làm rủi ro tăng thêm bao nhiêu so với cách làm cũ, chứ không phải nó có hoàn hảo không.
Ghi lại phiên bản mô hình nền. Nhà cung cấp cập nhật mô hình là hành vi sản phẩm của bạn có thể đổi theo; phải biết mình đã kiểm trên bản nào.
Giới hạn quyền ngay từ đầu. Cho trợ lý ít quyền nhất đủ để làm việc; quyền nào chưa cần thì chưa mở.
Có đường báo lỗi cho người dùng. Một nút báo câu trả lời sai, có người đọc thật, là nguồn phát hiện vấn đề rẻ nhất sau khi ra mắt.
Lưu nhật ký có kiểm soát. Đủ để điều tra khi có sự cố, nhưng che dữ liệu cá nhân và giới hạn người được xem.
Kiểm lại định kỳ. Đặt lịch kiểm lại, không đợi có khiếu nại mới làm.
Câu hỏi thường gặp
Kiểm định năng lực nguy hiểm có giống thử đối kháng không?
Hai việc bổ sung cho nhau. Kiểm định năng lực đo xem mô hình làm được gì ở những vùng nguy hiểm, thường bằng bộ nhiệm vụ có chuẩn. Thử đối kháng tìm cách vượt qua các biện pháp bảo vệ. Một mô hình nguy hiểm mà rào chắc thì kết quả hai việc sẽ khác nhau.
Có luật nào bắt buộc kiểm định trước khi phát hành không?
Tuỳ nơi và tuỳ loại hệ thống, và quy định ở nhiều nước đang thay đổi. Bài này không đi vào chi tiết pháp lý; điều chắc chắn là kiểm định tự nguyện của các nhóm phát triển hiện vẫn đóng phần lớn.
Vì sao không công bố chi tiết bài kiểm tra năng lực nguy hiểm?
Vì chính bộ câu hỏi có thể là hướng dẫn cho người muốn gây hại, và công bố thì đề cũng lọt vào dữ liệu huấn luyện các mô hình sau. Thường người ta chỉ công bố mô tả loại nhiệm vụ và kết quả tổng hợp.
Mô hình nhỏ có cần kiểm định năng lực nguy hiểm không?
Mức độ kiểm định thường tăng theo năng lực của mô hình. Mô hình nhỏ dùng cho việc hẹp ít khi cần cả bộ kiểm định này, nhưng vẫn cần kiểm theo rủi ro của đúng việc nó được dùng.
Kiểm định này có liên quan gì tới siêu trí tuệ?
Hiện chưa có hệ thống siêu trí tuệ nào. Các nhóm năng lực như tự chủ, né tránh giám sát hay tự đóng góp vào nghiên cứu AI được theo dõi một phần vì nhiều người lo chúng là bước đệm tới những hệ thống khó kiểm soát hơn. Mức độ đáng lo tới đâu vẫn đang được tranh luận.
