Căn chỉnh AI, tiếng Anh là AI alignment, là làm cho một hệ thống AI theo đuổi đúng điều con người thật sự muốn. Không chỉ đúng câu chữ của lệnh, mà đúng cả ý đằng sau và những điều hiển nhiên không ai buồn nói ra. Một hệ thống được căn chỉnh tốt vừa giúp được việc, vừa không gây hại, vừa trung thực về những gì nó làm.
Nghe thì đơn giản, nhưng ý muốn của người rất khó viết ra đầy đủ, và máy học từ những gì ta đo được chứ không học từ những gì ta nghĩ trong đầu. Khi hệ thống còn yếu, lệch một chút chỉ gây phiền. Khi hệ thống mạnh và được giao quyền làm việc thật, lệch một chút có thể gây thiệt hại lớn. Vì thế căn chỉnh là trụ cột của ngành an toàn AI.
Đúng lời mà sai ý: chuyện ai cũng từng gặp
Bạn nhắn cậu em: "Ra chợ mua giúp chị con cá, nhanh nhé." Cậu em về rất nhanh, với con cá ươn rẻ nhất ở sạp đầu chợ. Lời thì làm đúng: có cá, có nhanh. Nhưng ý của bạn là con cá tươi, vừa nồi, giá phải chăng, và "nhanh" chỉ là "đừng la cà". Những điều đó bạn không nói vì nghĩ ai cũng biết.
Với người, những điều không nói ra được lấp bằng hiểu biết chung, bằng việc cậu em biết chị nấu canh chua chứ không kho. Với máy, chỗ trống đó được lấp bằng những gì nó học được từ dữ liệu và từ cách nó được chấm điểm. Nếu cách chấm điểm chỉ thưởng cho tốc độ, máy sẽ tối ưu tốc độ và bỏ qua phần còn lại.
Máy càng giỏi, chuyện này càng rõ. Một hệ thống yếu không tìm ra được cách lách; một hệ thống mạnh có thể tìm ra những cách làm đúng chữ mà không ai lường trước. Đó là lý do người làm an toàn AI nói rằng năng lực tăng thì bài toán căn chỉnh không tự dễ đi, có khi còn khó hơn.
Căn chỉnh không phải dạy máy biết vâng lời. Một hệ thống vâng lời tuyệt đối sẽ làm theo cả lệnh sai, lệnh của kẻ xấu. Mục tiêu là hệ thống hiểu ý người dùng, tôn trọng giới hạn của người khác và của xã hội, và biết hỏi lại khi lệnh mập mờ.
Căn chỉnh bên ngoài và căn chỉnh bên trong
Người làm nghề hay tách bài toán thành hai tầng. Tầng thứ nhất, căn chỉnh bên ngoài, là viết ra được mục tiêu đúng: cách chấm điểm, dữ liệu mẫu, bộ nguyên tắc dùng để dạy mô hình có thật sự phản ánh điều ta muốn không. Giống viết bản giao khoán cho thợ xây: viết thiếu một dòng về chống thấm thì thợ có thể làm đúng hợp đồng mà nhà vẫn dột.
Tầng thứ hai, căn chỉnh bên trong, là kể cả khi mục tiêu đã viết đúng, mô hình có thật sự học mục tiêu đó không, hay học một thứ gần giống mà chỉ trùng kết quả trong lúc huấn luyện. Giống học sinh đạt điểm cao vì học tủ đúng dạng đề, chứ không phải vì hiểu bài. Lúc thi thì không phân biệt được, ra đời mới lộ.
Tầng thứ hai khó kiểm tra hơn nhiều, vì mô hình là một khối số khổng lồ mà ta chưa đọc được rõ bên trong. Ta chỉ thấy hành vi, và hành vi trong phòng thử nghiệm có thể khác hành vi ngoài đời. Đây là một trong những lý do ngành nghiên cứu nhìn vào bên trong mô hình phát triển mạnh.
Hai tầng này chưa có lời giải trọn vẹn. Các kỹ thuật hiện nay giúp mô hình hành xử tốt hơn rõ rệt trong phần lớn tình huống thường ngày, nhưng chưa có cách nào bảo đảm chắc chắn, nhất là cho những hệ thống mạnh hơn trong tương lai.
Các kỹ thuật căn chỉnh đang được dùng
Tinh chỉnh bằng ví dụ mẫu. Cho mô hình học từ những cặp câu hỏi và câu trả lời tốt do người viết.
Học từ phản hồi của người. Người chấm câu trả lời nào tốt hơn, mô hình được chỉnh theo hướng được ưa thích.
Học từ bộ nguyên tắc. Viết ra các nguyên tắc rõ ràng rồi dùng chính mô hình để tự phê bình và sửa theo đó.
Phản hồi do máy hỗ trợ. Dùng mô hình khác giúp người chấm những câu trả lời quá dài hoặc quá chuyên môn.
Thử đối kháng. Nhóm thử tìm cách làm mô hình sai, rồi dùng lỗi tìm được để huấn luyện lại.
Lọc dữ liệu huấn luyện. Bớt nội dung độc hại, sai lệch ngay từ đầu vào.
Dạy từ chối có chừng mực. Từ chối việc nguy hại nhưng không từ chối oan những câu hỏi bình thường.
Dạy trung thực. Thưởng cho câu "mình không chắc" khi đúng là không chắc, thay vì trả lời bịa.
Đặt thứ bậc chỉ dẫn. Quy định rõ chỉ dẫn của nhà phát triển, của người dùng, của nội dung bên ngoài được ưu tiên ra sao.
Đánh giá hành vi trước khi phát hành. Chạy hàng loạt tình huống thử để xem mô hình có cư xử như mong muốn.
Giám sát sau khi phát hành. Theo dõi những ca lạ trong sử dụng thật để sửa ở đợt sau.
Nghiên cứu diễn giải. Soi vào bên trong để kiểm tra mô hình có thật sự học điều ta muốn.
Hiểu lầm thường gặp về căn chỉnh AI
"Căn chỉnh là kiểm duyệt." Kiểm duyệt chỉ là một phần nhỏ; phần lớn là làm mô hình hiểu đúng ý và trung thực.
"Chỉ cần ra lệnh rõ ràng là xong." Không ai viết hết được mọi điều mình muốn; luôn còn chỗ trống máy phải tự lấp.
"Mô hình giỏi hơn sẽ tự hiểu ý hơn." Hiểu ý tốt hơn không đồng nghĩa với làm theo ý; hai việc khác nhau.
"Căn chỉnh làm AI kém đi." Một số biện pháp có làm giảm chút năng lực, nhưng nhiều biện pháp làm mô hình hữu ích hơn.
"Chỉ là chuyện của hệ thống tương lai." Chatbot nịnh người dùng hay bịa thông tin đã là vấn đề căn chỉnh hôm nay.
"Căn chỉnh theo giá trị nào cũng như nhau." Chọn giá trị nào, của ai, là câu hỏi lớn và có tranh luận.
"Mô hình từ chối là đã an toàn." Từ chối bề ngoài có thể che giấu năng lực vẫn còn bên trong.
"Đây là chuyện triết học suông." Phần lớn công việc căn chỉnh là kỹ thuật: dữ liệu, huấn luyện, đo đạc.
"Có thể kiểm tra xong một lần." Mô hình được cập nhật và dùng theo cách mới liên tục, nên phải kiểm tra lại.
"Kẻ xấu dùng AI là lỗi căn chỉnh." Lạm dụng là vấn đề an ninh; căn chỉnh lo chuyện mô hình tự đi lệch ý người dùng hợp pháp.
"Không làm mô hình thì không cần quan tâm." Doanh nghiệp đưa mô hình vào quy trình vẫn phải kiểm tra nó có làm đúng ý mình.
Doanh nghiệp dùng AI có thể làm gì ngay
Viết rõ mục tiêu kèm giới hạn. Không chỉ "trả lời khách nhanh" mà cả "không hứa điều công ty không làm được".
Nêu những điều tưởng hiển nhiên. Xưng hô, giọng điệu, chuyện không được bàn: viết ra hết.
Thử bằng tình huống khó. Khách giận, khách hỏi mẹo, câu hỏi mập mờ là chỗ lệch dễ lộ.
Đừng chấm chỉ bằng một con số. Đo cả tốc độ, mức hài lòng, tỉ lệ sai, khiếu nại.
Cho phép máy nói "không biết". Câu trả lời trung thực tốt hơn câu trả lời bịa trơn tru.
Có người duyệt việc quan trọng. Hoàn tiền, cam kết, thông tin y tế, pháp lý cần người xem lại.
Ghi lại ca lệch. Mỗi lần máy làm đúng lời sai ý là một dữ liệu để chỉnh cách giao việc.
Cập nhật hướng dẫn định kỳ. Sản phẩm, chính sách đổi thì chỉ dẫn cho máy cũng phải đổi.
Kiểm tra khi đổi phiên bản mô hình. Bản mới có thể hiểu chỉ dẫn cũ theo cách khác.
Giải thích cho nhân viên. Người dùng nội bộ biết máy dễ lệch ở đâu sẽ kiểm tra đúng chỗ.
Đừng giao quyền vượt nhu cầu. Máy chỉ cần đọc thì đừng cho quyền ghi, xoá, chuyển tiền.
Câu hỏi thường gặp
AI alignment dịch sang tiếng Việt là gì?
Thường được dịch là căn chỉnh AI hoặc căn chỉnh giá trị AI. Ý chính là làm cho mục tiêu và hành vi của hệ thống AI khớp với ý muốn của con người.
Căn chỉnh AI khác an toàn AI thế nào?
An toàn AI là lĩnh vực rộng gồm căn chỉnh, kiểm soát, đánh giá, chống lạm dụng và nhiều mảng khác. Căn chỉnh là phần lo cho mô hình tự nó muốn làm đúng điều người muốn.
Mô hình hiện nay đã được căn chỉnh tốt chưa?
Tốt hơn nhiều so với các thế hệ đầu trong tình huống thường ngày, nhưng vẫn có lỗi như nịnh người dùng, bịa thông tin, bị dụ làm điều không nên. Chưa có kỹ thuật nào bảo đảm chắc chắn.
Vì sao nói căn chỉnh khó hơn khi AI mạnh hơn?
Vì hệ thống mạnh tìm ra nhiều cách đạt mục tiêu hơn, kể cả cách lách mà người không lường trước, và người giám sát khó kiểm tra những việc vượt hiểu biết của mình.
Sinh viên muốn theo hướng căn chỉnh AI nên học gì?
Nền tảng học máy và học sâu, xác suất thống kê, lập trình, cùng khả năng thiết kế thí nghiệm và đọc bài nghiên cứu. Đọc thêm về kinh tế học hành vi và đạo đức cũng giúp hiểu bài toán mục tiêu.
