Nhiễm dữ liệu kiểm tra xảy ra khi câu hỏi của một bộ đề, nhiều khi kèm cả đáp án, đã nằm sẵn trong dữ liệu mà mô hình được huấn luyện. Lúc đó mô hình có thể trả lời đúng nhờ nhớ, giống học sinh đã thấy đề thi từ tối hôm trước. Điểm số nhìn vẫn đẹp, nhưng không còn đo đúng thứ người ta muốn đo.
Chuyện này hiếm khi do ai cố tình gian lận. Mô hình ngôn ngữ lớn học từ một khối văn bản khổng lồ gom trên mạng, và các bộ đề nổi tiếng thì được đăng, được bàn, được giải lại ở rất nhiều nơi. Không ai đọc hết được khối dữ liệu đó để nhặt ra từng câu.
Hiểu cơ chế này giúp bạn đọc bảng điểm thận trọng hơn, và nếu bạn đang ra đề để kiểm tra mô hình cho tiếng Việt, nó cho biết phải giữ đề thế nào để đề còn giá trị.
Đề thi lọt vào dữ liệu huấn luyện bằng đường nào?
Đường phổ biến nhất là chính mạng internet. Một bộ đề được công bố kèm bài báo khoa học, rồi được đăng lại trên kho mã nguồn, trên diễn đàn, trong các bài hướng dẫn. Khi người làm mô hình thu thập dữ liệu từ web, những trang này đi vào cùng với hàng tỷ trang khác.
Đường thứ hai là lời giải. Nhiều người viết bài phân tích từng câu trong bộ đề, giải thích vì sao đáp án là B. Mô hình không cần thấy chính file đề; chỉ cần đọc đủ nhiều bài giải là đã gần như thuộc.
Đường thứ ba khó thấy hơn: bản dịch và bản diễn đạt lại. Một bộ đề tiếng Anh được dịch sang tiếng Việt để làm tài liệu ôn tập, hoặc được viết lại bằng câu chữ khác. Các công cụ lọc trùng dựa trên so khớp chữ không nhận ra đây là cùng một câu hỏi.
Đường thứ tư nằm ở khâu tinh chỉnh. Khi mô hình được dạy thêm bằng dữ liệu hỏi đáp, một phần dữ liệu đó có thể do người hoặc máy soạn dựa trên chính các bộ đề phổ biến, vì đó là những ví dụ "chuẩn" dễ tìm nhất.
Ngoài ra còn lỗi đơn giản kiểu con người: dữ liệu kiểm tra được để chung thư mục với dữ liệu huấn luyện, hoặc một bộ đề "kín" bị ai đó dán lên mạng hỏi bài. Giống đề thi học kỳ bị chụp gửi vào nhóm lớp, chỉ cần lọt một lần là khó thu lại.
Dấu hiệu cho thấy mô hình có thể đã thấy đề
Đề cũ điểm cao vọt so với đề mới cùng độ khó. Đây là phép thử mạnh nhất: soạn một bộ đề mới cùng dạng, cùng độ khó, nếu điểm tụt rõ thì phần chênh nhiều khả năng là do nhớ.
Đổi con số trong bài toán là sai. Bài toán giữ nguyên cách giải nhưng thay số; mô hình hiểu thật thì vẫn làm đúng, mô hình nhớ đáp án thì vẫn đưa ra con số cũ.
Đổi thứ tự phương án là tụt điểm. Với trắc nghiệm, xáo vị trí A B C D mà điểm giảm mạnh cho thấy mô hình gắn với vị trí đáp án quen thuộc.
Đọc tiếp được phần sau của câu hỏi. Đưa nửa đầu một câu trong đề, mô hình viết tiếp gần như nguyên văn nửa sau; đó là dấu hiệu văn bản ấy từng xuất hiện trong dữ liệu.
Đáp án đúng nhưng lời giải sai. Mô hình đưa đúng kết quả nhưng các bước lập luận không dẫn tới kết quả đó, giống học sinh chép đáp số mà không biết làm.
Vẫn trả lời "đúng" khi đề đã bị sửa hỏng. Cố ý làm câu hỏi thiếu dữ kiện hoặc vô nghĩa, mô hình vẫn đưa ra đáp án cũ của câu gốc.
Nhớ cả chi tiết không liên quan. Mô hình nhắc được mã số câu, nguồn gốc câu, hoặc định dạng riêng của bộ đề dù không ai hỏi.
Điểm chênh theo thời điểm ra đề. Câu hỏi soạn trước thời điểm cắt dữ liệu của mô hình làm tốt hơn hẳn câu soạn sau, dù cùng độ khó.
Chênh lệch giữa các ngôn ngữ bất thường. Bản tiếng Anh điểm rất cao còn bản dịch tiếng Việt tụt mạnh hơn mức chênh thường thấy giữa hai ngôn ngữ.
Điểm cao bất thường so với năng lực ở bài liên quan. Mô hình giải xuất sắc một bộ đề nhưng vụng về ở các bài gần giống không nổi tiếng.
Độ tự tin cao một cách lạ. Ở những câu khó, mô hình trả lời ngay, gọn, không do dự, trong khi với câu khó tương tự nhưng mới thì lúng túng.
Vì sao rất khó loại bỏ hoàn toàn
Cách lọc phổ biến là so khớp chuỗi: tìm trong dữ liệu huấn luyện những đoạn trùng một dãy từ liên tiếp với đề kiểm tra, rồi bỏ đi. Cách này bắt được chép nguyên văn, nhưng bỏ sót bản diễn đạt lại, bản dịch, bản đổi tên nhân vật, đổi đơn vị đo. Với tiếng Việt, chỉ việc viết có dấu hay không dấu đã đủ qua mặt bộ lọc đơn giản.
Quy mô dữ liệu cũng là vấn đề. Khi khối huấn luyện lớn tới mức không đội nào đọc hết, việc tìm mọi biến thể của vài nghìn câu hỏi trong đó là bài toán tốn kém. Người ta làm được ở mức xấp xỉ, không làm được ở mức chắc chắn.
Thêm nữa, nhiều bên không công bố đầy đủ dữ liệu huấn luyện, vì lý do bản quyền, cạnh tranh hay dung lượng. Người ngoài muốn kiểm tra chỉ có thể suy đoán qua hành vi của mô hình, bằng các dấu hiệu ở phần trên, chứ không mở được kho dữ liệu ra đối chiếu.
Cuối cùng, ranh giới giữa "đã thấy đề" và "đã học kiến thức" vốn mờ. Một mô hình đọc hàng nghìn bài toán chuyển động thì giải tốt bài chuyển động mới; đó là học thật. Nó đọc đúng câu trong đề kèm lời giải; đó là nhớ. Giữa hai đầu là cả một vùng xám, và đây là chỗ các nhà nghiên cứu còn tranh luận cách đo.
Nhiễm đề và kiểm tra an toàn: chỗ ít người để ý
Chuyện thấy đề thường được bàn ở các bài kiểm tra năng lực, nhưng nó còn đáng lo hơn ở các bài kiểm tra an toàn. Giả sử một bộ câu hỏi dùng để kiểm tra mô hình có từ chối yêu cầu nguy hại hay không được công bố rộng rãi. Nếu mô hình được dạy từ chối đúng những câu đó, nó sẽ đạt điểm rất đẹp trên bộ đề.
Vấn đề là cách từ chối học được có thể chỉ bám vào bề mặt câu chữ. Đổi cách diễn đạt, đổi ngôn ngữ, hoặc đặt yêu cầu trong một bối cảnh dài hơn, hành vi có thể khác hẳn. Điểm an toàn cao khi đó tạo ra cảm giác yên tâm không có cơ sở, và đó là loại sai nguy hiểm hơn sai về năng lực.
Vì vậy các nhóm làm đánh giá an toàn nghiêm túc thường giữ phần lớn câu hỏi kín, chỉ mô tả dạng đề chứ không công bố nội dung, và bổ sung thử đối kháng do người làm để tìm những cách hỏi mà bộ đề không lường trước.
Với người đọc, bài học đơn giản: một hệ thống được báo là "vượt qua kiểm tra an toàn" thì nên hỏi tiếp kiểm tra bằng đề công khai hay đề kín, có người thử đối kháng không, và có ai ngoài bên làm mô hình kiểm tra lại không.
Cách người làm đánh giá giữ đề sạch
Giữ một phần đề kín. Công bố một phần để mọi người hiểu dạng đề, giữ phần còn lại không đăng ở đâu, chỉ dùng để chấm.
Soạn đề mới định kỳ. Mỗi đợt bổ sung câu hỏi mới, ghi ngày soạn từng câu, để so điểm trên câu cũ và câu mới.
Dùng đề sinh theo tham số. Một khung câu hỏi có thể sinh ra nhiều biến thể với số liệu, tên, bối cảnh khác nhau, khó học thuộc hết.
Xáo phương án mỗi lần chạy. Với trắc nghiệm, đổi thứ tự đáp án ngẫu nhiên để loại bỏ lợi thế nhớ vị trí.
Gắn chuỗi đánh dấu vào tệp đề. Một dãy ký tự lạ, duy nhất, đặt trong tệp đề; nếu sau này mô hình viết lại được dãy đó, có thể đoán tệp đã bị đưa vào huấn luyện. Cách này chỉ hiệu quả khi bên làm dữ liệu chịu lọc theo nó.
Kiểm tra trùng lặp trước khi công bố điểm. Nếu có quyền truy cập dữ liệu huấn luyện, đo tỷ lệ câu hỏi xuất hiện trong đó và báo cáo cả điểm trên phần sạch.
Chấm cả quá trình, không chỉ đáp số. Yêu cầu lời giải từng bước và kiểm tra tính nhất quán, khó ăn may bằng trí nhớ hơn.
Đánh giá động do người hỏi. Người đánh giá đặt câu hỏi mới ngay lúc kiểm tra, không có danh sách soạn trước để lọt ra ngoài.
Không dán đề vào chatbot công cộng. Nhiều dịch vụ có thể dùng nội dung người dùng gửi để cải tiến mô hình; đề kín phải được chạy qua đường đã cam kết không lưu.
Báo cáo minh bạch giới hạn. Ghi rõ đã kiểm tra nhiễm bằng cách gì, kiểm tra tới đâu, chỗ nào chưa chắc.
Ra đề tiếng Việt từ nguồn chưa số hoá. Tình huống thực tế trong doanh nghiệp, hồ sơ nội bộ đã ẩn danh, câu hỏi do người trong nghề tự viết, ít khả năng đã có trên mạng.
Câu hỏi thường gặp
Nhiễm dữ liệu kiểm tra có phải là gian lận không?
Thường thì không. Phần lớn trường hợp là vô tình, vì đề và lời giải nằm rải rác trên mạng và lọt vào khối dữ liệu thu thập. Gian lận là khi cố ý huấn luyện trên đề rồi công bố điểm như thể chưa thấy đề.
Mô hình đã thấy đề thì điểm đó vô giá trị hoàn toàn?
Không hẳn. Điểm vẫn cho biết mô hình nhớ và tái hiện được kiến thức đó. Nhưng nó không còn đo đúng khả năng giải bài mới, nên phải được đọc kèm điểm trên đề sạch.
Người dùng bình thường có cần quan tâm chuyện này?
Có, ở mức biết để không tin mù quáng. Khi một mô hình được quảng cáo bằng điểm số trên đề nổi tiếng, hãy thử nó bằng câu hỏi thật của mình trước khi tin.
Đề tiếng Việt có ít bị nhiễm hơn đề tiếng Anh không?
Đề tự soạn từ tình huống thực tế, chưa từng đăng lên mạng, ít bị nhiễm hơn. Còn đề dịch từ bộ đề tiếng Anh nổi tiếng thì vẫn mang theo rủi ro, vì mô hình có thể đã thấy bản gốc hoặc bản dịch khác.
Làm sao biết một mô hình được huấn luyện tới thời điểm nào?
Nhiều nhà cung cấp có ghi thời điểm cắt dữ liệu trong tài liệu, nhưng không phải lúc nào cũng có hoặc chính xác. Có thể ước lượng bằng cách hỏi về các sự kiện có mốc rõ ràng, dù cách này chỉ cho kết quả gần đúng.
