Năng lực đánh giá AI là khả năng tự kiểm tra một hệ thống AI làm tốt tới đâu, sai ở chỗ nào, có gây hại không, bằng bài kiểm tra và con người của chính mình. Việt Nam cần năng lực này vì phần lớn hệ thống AI được dùng trong nước được xây ở nơi khác, đo bằng bài kiểm tra viết cho ngôn ngữ và bối cảnh khác. Không tự đo được thì chỉ còn cách tin lời giới thiệu.
Điều này không đòi hỏi một quốc gia phải tự xây mô hình lớn nhất. Một nước có thể dùng mô hình của người khác mà vẫn tự chủ được nếu biết kiểm tra nó cẩn thận, giống như một bệnh viện mua máy móc nhập khẩu nhưng vẫn có phòng kiểm chuẩn riêng.
Bài này nói năng lực đánh giá gồm những gì, vì sao nó dễ bị bỏ qua, và ai có thể bắt đầu xây ngay từ bây giờ.
Đo được mới tự chủ được
Hình dung một hợp tác xã ở Cần Thơ mua máy sấy lúa. Người bán nói máy sấy đều, hao hụt thấp. Hợp tác xã có kinh nghiệm sẽ không tin ngay: họ cho sấy thử một mẻ, đo độ ẩm ở nhiều chỗ, cân lại sau sấy. Nhờ biết đo, họ mặc cả được, đòi bảo hành được, và biết lúc nào máy bắt đầu xuống cấp.
Với hệ thống AI, phần lớn tổ chức Việt Nam hiện ở vị trí của người chưa biết đo. Một ngân hàng mua chatbot tư vấn, một bệnh viện thử trợ lý tóm tắt bệnh án, một sở ban ngành thử hệ thống trả lời thủ tục: thường họ xem vài câu trả lời mẫu, thấy ổn, rồi triển khai. Câu hỏi "trên một nghìn câu hỏi thật của người dân, nó sai bao nhiêu câu, sai kiểu gì" ít khi được đặt ra một cách có hệ thống.
Bài kiểm tra mà bên bán đưa ra thường đúng, nhưng là bài kiểm tra của họ. Nó có thể được viết bằng tiếng Anh rồi dịch, có thể đo những năng lực không liên quan tới việc của bạn, có thể đã lọt vào dữ liệu huấn luyện nên điểm cao giả tạo. Không ai cố ý lừa, nhưng người bán luôn có xu hướng chọn thước đo làm sản phẩm mình đẹp nhất.
Vì vậy năng lực đánh giá là một dạng tự chủ rất thực tế. Nó không đòi tiền tỷ cho máy chủ, mà đòi người hiểu cách đo, bộ câu hỏi sát với việc thật, và thói quen đo trước khi tin.
Năng lực đánh giá gồm những gì
Bộ câu hỏi sát việc thật. Câu hỏi lấy từ chính công việc của tổ chức, viết bằng tiếng Việt như người dùng thật viết, kể cả viết tắt, không dấu, sai chính tả.
Người chấm hiểu nghề. Một câu trả lời về bảo hiểm y tế phải do người hiểu bảo hiểm y tế chấm. Người kỹ thuật không chấm thay được.
Hướng dẫn chấm rõ ràng. Thế nào là đúng, đúng một phần, sai, sai nguy hiểm. Không có hướng dẫn thì hai người chấm cùng câu ra hai điểm.
Đo cả lỗi nguy hiểm, không chỉ điểm trung bình. Một hệ thống đúng phần lớn câu nhưng thỉnh thoảng khuyên sai liều thuốc vẫn không dùng được trong y tế.
Thử với người dùng khó. Người hỏi lan man, người hỏi giọng địa phương, người cố tình hỏi mẹo. Hệ thống thật sẽ gặp họ hằng ngày.
Đo lặp lại sau mỗi lần cập nhật. Nhà cung cấp cập nhật mô hình thường xuyên. Một hệ thống tốt tháng trước có thể đổi hành vi tháng này.
Giữ bộ kiểm tra kín một phần. Nếu công khai toàn bộ câu hỏi, chúng có thể lọt vào dữ liệu huấn luyện của mô hình sau và mất giá trị.
Hiểu thống kê đủ dùng. Biết chênh lệch hai hệ thống là thật hay do ngẫu nhiên.
Ghi chép và lưu trữ. Mỗi lượt đánh giá lưu lại câu hỏi, câu trả lời, điểm, phiên bản mô hình, để so về sau.
Báo cáo cho người không làm kỹ thuật. Lãnh đạo cần biết "dùng được cho việc gì, không dùng được cho việc gì", không cần biết chi tiết thuật toán.
Độc lập với bên bán. Người đánh giá không nên là người được thưởng khi hệ thống được mua.
Biết giới hạn của chính phép đo. Không bài kiểm tra nào bắt được mọi lỗi. Báo cáo tốt luôn nói rõ những gì chưa đo.
Vì sao năng lực này dễ bị bỏ qua
Đánh giá là việc không hào nhoáng. Ra mắt một chatbot mới thì có tin tức, có lễ ký kết. Còn ngồi viết năm trăm câu hỏi kiểm tra rồi chấm từng câu thì không ai chụp ảnh. Trong nhiều tổ chức, ngân sách cho phần mua sắm và triển khai luôn rộng hơn phần kiểm tra.
Lý do thứ hai là người ta tưởng đánh giá là việc của bên bán. Thật ra bên bán đánh giá theo câu hỏi của họ, còn bên mua phải đánh giá theo câu hỏi của mình. Hai việc đó khác nhau như nhà máy kiểm tra xe trước khi xuất xưởng và người mua tự lái thử trên đường làng quê mình.
Lý do thứ ba là thiếu người. Đánh giá AI cho tốt cần một tổ hợp kỹ năng ít gặp: hiểu mô hình đủ để biết nó hay sai kiểu gì, hiểu thống kê, hiểu nghiệp vụ của ngành, và viết rõ. Trường đại học hiện chưa đào tạo riêng cho tổ hợp này, nên người làm được thường tự học mà thành.
Lý do cuối là sự lạc quan quá mức sau vài lần thử. Người dùng thử mười câu, thấy chín câu tốt, rồi kết luận hệ thống tốt. Nhưng mười câu do chính mình nghĩ ra thường là câu dễ. Lỗi thật nằm ở những câu mình không nghĩ tới, và chỉ một bộ kiểm tra có hệ thống mới tìm ra.
Ai có thể bắt đầu xây từ bây giờ
Doanh nghiệp đang dùng AI. Chỉ định một người phụ trách đánh giá, cho họ thời gian làm bộ câu hỏi nội bộ trước mỗi lần triển khai.
Khoa công nghệ thông tin các trường. Đưa đánh giá mô hình vào đồ án, khoá luận. Sinh viên làm bộ kiểm tra tiếng Việt là vừa sức và có ích.
Khoa ngôn ngữ học. Góp phần thiết kế câu hỏi về ngôn ngữ, phương ngữ, văn phong, những thứ người kỹ thuật dễ làm hời hợt.
Bệnh viện, trường y. Tự xây bộ câu hỏi y khoa tiếng Việt có bác sĩ chấm trước khi đưa bất kỳ trợ lý AI nào vào quy trình.
Văn phòng luật, khoa luật. Đo xem hệ thống AI có bịa ra quy định không tồn tại không, một lỗi rất nguy hiểm trong tư vấn pháp lý.
Cộng đồng mã nguồn mở người Việt. Duy trì các bộ kiểm tra tiếng Việt công khai, có quy trình nhận đóng góp và kiểm lỗi.
Các hội nghề nghiệp. Kế toán, bảo hiểm, giáo viên có thể cùng xây bộ câu hỏi chuẩn cho nghề mình.
Nhà báo công nghệ. Học cách đọc báo cáo đánh giá, đặt câu hỏi đúng khi một sản phẩm tuyên bố "chính xác cao".
Người làm dữ liệu. Kỹ năng gán nhãn, kiểm tra chất lượng nhãn là một nửa của đánh giá.
Cá nhân tự học. Một bộ đánh giá nhỏ, làm cẩn thận, công bố trung thực là đóng góp thật cho năng lực chung.
Bắt đầu nhỏ ở mọi nơi. Một bộ một trăm câu có người chấm tử tế đã hơn hẳn không có gì.
Câu hỏi nên đặt cho bên bán trước khi mua hệ thống AI
Hệ thống đã được đo bằng tiếng Việt chưa? Nếu có, xin xem bộ câu hỏi mẫu và cách chấm, không chỉ con số cuối.
Câu hỏi kiểm tra viết từ gốc hay dịch? Bộ đề dịch cho kết quả kém tin cậy hơn với người dùng Việt.
Lỗi nghiêm trọng nhất từng gặp là gì? Bên bán trung thực sẽ kể được. Không kể được nghĩa là họ chưa tìm hoặc chưa muốn nói.
Có cho bên mua tự chạy đánh giá trước khi ký không? Một thời gian dùng thử với dữ liệu thật của mình là điều kiện hợp lý.
Mô hình bên dưới có bị đổi không báo trước không? Cập nhật âm thầm có thể làm hành vi thay đổi. Cần cam kết thông báo trước.
Dữ liệu của mình được dùng vào đâu? Có bị dùng để huấn luyện tiếp không, lưu ở đâu, lưu bao lâu.
Khi hệ thống không chắc, nó làm gì? Hệ thống tốt biết nói "không biết" hoặc chuyển cho người thật, thay vì bịa.
Có nhật ký để truy lại câu trả lời không? Khi có khiếu nại, phải xem lại được hệ thống đã trả lời gì, vì sao.
Ai chịu trách nhiệm khi trả lời sai gây thiệt hại? Ghi rõ trong hợp đồng thay vì để mặc định.
Có cách tắt nhanh không? Khi phát hiện lỗi hàng loạt, phải tắt được trong vài phút, không phải chờ bên bán.
Có người hỗ trợ hiểu tiếng Việt không? Báo lỗi về một câu trả lời sai văn hoá mà người hỗ trợ không hiểu tiếng Việt thì rất khó xử lý.
Câu hỏi thường gặp
Đánh giá AI khác kiểm thử phần mềm thế nào?
Kiểm thử phần mềm thường kiểm một hành vi cố định, đúng hoặc sai. Đánh giá AI phải đo trên nhiều mẫu vì cùng câu hỏi có thể cho câu trả lời khác nhau, và phải xét cả mức độ nguy hiểm của câu sai.
Doanh nghiệp nhỏ có cần tự đánh giá AI không?
Có, nhưng ở quy mô vừa sức. Trước khi để chatbot trả lời khách, chỉ cần vài chục câu hỏi thật từ khách cũ, một nhân viên hiểu nghiệp vụ chấm, là đã thấy được những lỗi lớn.
Có thể dùng chính AI để đánh giá AI không?
Có thể dùng để chấm sơ bộ nhiều câu cho nhanh, nhưng phải kiểm tra người chấm máy bằng người thật trên một phần mẫu. Người chấm máy có thiên lệch riêng và có thể ưu ái câu trả lời dài, trôi chảy.
Bộ kiểm tra có nên công khai không?
Công khai một phần giúp cộng đồng kiểm tra lẫn nhau, nhưng nên giữ kín một phần để tránh câu hỏi lọt vào dữ liệu huấn luyện. Nhiều nhóm chia bộ đề thành phần mở và phần kín.
Người đánh giá AI cần học gì?
Nền học máy cơ bản, thống kê, cách thiết kế câu hỏi và hướng dẫn chấm, cộng hiểu biết sâu về một lĩnh vực nghiệp vụ. Kỹ năng viết báo cáo rõ ràng cũng quan trọng không kém.
