Dịch một bộ bài kiểm tra tiếng Anh sang tiếng Việt chỉ đo được mô hình làm tốt tới đâu với tiếng Việt dịch, không đo được nó hiểu người Việt tới đâu. Câu dịch thường cứng, mang theo bối cảnh nước ngoài, và bỏ sót những thứ chỉ tiếng Việt mới có: phương ngữ, hệ xưng hô, viết không dấu, kiến thức đời sống trong nước. Một bộ kiểm tra tốt phải có phần lớn câu hỏi viết từ gốc tiếng Việt.
Đây không phải chuyện tự tôn ngôn ngữ mà là chuyện đo cho đúng. Một hệ thống trả lời khách hàng ở Nghệ An, ở Cà Mau sẽ gặp người viết theo giọng của họ, không phải theo câu chữ của bản dịch.
Dịch làm mất gì
Thử lấy một câu hỏi kiểu đề thi phổ thông bên nước ngoài: một học sinh đi mua đồ, trả bằng đồng tiền của nước đó, tính tiền thối kèm thuế bán hàng cộng ở quầy. Dịch sang tiếng Việt thì câu vẫn có nghĩa, nhưng người Việt không đi chợ kiểu đó. Mô hình trả lời đúng câu này cho thấy nó biết tính, chứ không cho thấy nó hiểu chuyện mua bán ở chợ Vinh, nơi người ta mặc cả, làm tròn, cho thêm mớ rau.
Câu dịch còn mang dấu vết của máy dịch: trật tự từ lạ, dùng "của" quá nhiều, dịch thành ngữ theo nghĩa đen. Có một rủi ro tinh vi: mô hình ngôn ngữ lớn được huấn luyện trên rất nhiều văn bản dịch, nên có thể làm tốt với tiếng Việt kiểu dịch hơn là tiếng Việt người thật viết. Điểm số đẹp trên bộ dịch có thể che đi điểm yếu thật.
Đáp án cũng có thể sai sau khi dịch. Câu hỏi về luật, về lịch sử, về thói quen xã hội có đáp án đúng ở nước gốc nhưng sai hoặc vô nghĩa ở Việt Nam. Nếu người dịch không để ý, bộ kiểm tra sẽ chấm sai mô hình nào trả lời theo bối cảnh Việt Nam.
Cuối cùng, dịch không tạo ra được những câu hỏi chỉ có ở tiếng Việt. Không có bộ đề nước ngoài nào kiểm tra mô hình có phân biệt được "dạ" của người miền Nam với "vâng" của người miền Bắc trong vai trò lời đáp, hay có hiểu khi người dùng gõ "ko bít lm sao" là đang nói gì.
Những thứ chỉ bộ kiểm tra tiếng Việt từ gốc mới đo được
Viết không dấu và gõ tắt. Rất nhiều người dùng gõ không dấu hoặc viết tắt kiểu tin nhắn. Mô hình phải hiểu được, và bộ kiểm tra phải có tỷ lệ câu kiểu này sát với thực tế.
Phương ngữ. Từ vựng khác giữa các vùng: cùng một thứ mà mỗi miền gọi một tên. Câu hỏi của người miền Trung, miền Tây phải có mặt.
Hệ xưng hô. Mô hình có giữ đúng vai trong suốt cuộc trò chuyện không, có xưng hô phù hợp khi người hỏi là người lớn tuổi không.
Từ đồng âm và chơi chữ. Tiếng Việt nhiều từ đồng âm khác nghĩa. Câu hỏi đòi phân biệt theo ngữ cảnh rất khó dịch từ tiếng nước ngoài.
Thành ngữ, tục ngữ. Hiểu nghĩa bóng và dùng đúng hoàn cảnh, không chỉ giải nghĩa từng chữ.
Kiến thức đời sống trong nước. Thủ tục hành chính phổ biến, cách tính âm lịch, phong tục ngày Tết, mùa vụ theo vùng.
Địa danh và tên riêng. Tên đơn vị hành chính có thể đã đổi, tên đường, tên món ăn địa phương. Mô hình dễ bịa hoặc dùng tên cũ ở đây.
Văn phong hành chính. Văn bản kiểu công văn có cấu trúc và cách viết riêng, nhiều tổ chức cần AI xử lý loại văn bản này.
Định kiến theo vùng miền. Đo xem mô hình có gán đặc điểm xấu tốt cho người theo quê quán không.
Lịch sự kiểu Việt. Từ chối khéo, nói giảm nói tránh. Câu trả lời đúng mà cộc lốc vẫn là câu trả lời dở với người dùng Việt.
Chữ số và đơn vị kiểu Việt. Dấu chấm phân cách hàng nghìn, cách đọc tiền, đơn vị đo truyền thống như sào, công đất theo vùng.
Câu hỏi pha tiếng Anh. Người trẻ hay nói pha. Mô hình phải hiểu mà không đổi hẳn sang trả lời tiếng Anh.
Cách xây một bộ kiểm tra tiếng Việt cho tử tế
Bắt đầu từ câu hỏi thật. Thu câu hỏi người dùng đã từng hỏi, xoá thông tin cá nhân, làm nền cho bộ đề.
Nhiều người viết từ nhiều vùng. Mời người viết câu hỏi ở cả ba miền, nhiều độ tuổi, nhiều nghề.
Có chuyên gia ngành duyệt đáp án. Câu hỏi y tế do người làm y, câu hỏi luật do người làm luật duyệt.
Viết hướng dẫn chấm trước khi chấm. Định nghĩa rõ đúng, đúng một phần, sai, sai nguy hiểm, kèm ví dụ.
Đo độ đồng thuận giữa người chấm. Hai người chấm cùng một phần mẫu, nếu lệch nhiều thì hướng dẫn chưa rõ.
Ghi nguồn gốc từng câu. Câu viết mới, câu lấy từ người dùng, hay câu dịch có biên tập. Để sau này biết phần nào đáng tin hơn.
Nếu dùng câu dịch, biên tập lại. Người bản ngữ viết lại cho tự nhiên, thay bối cảnh nước ngoài bằng bối cảnh Việt.
Chia phần mở và phần kín. Phần kín không công bố, để kiểm tra mô hình chưa từng thấy đề.
Kiểm rò rỉ định kỳ. Thử xem mô hình có thuộc nguyên văn câu hỏi phần mở không.
Cập nhật theo thời gian. Địa danh, thủ tục, giá cả thay đổi. Câu hỏi có đáp án theo thời điểm phải được rà lại.
Tôn trọng quyền và sự đồng ý. Người viết câu hỏi biết bộ đề dùng vào việc gì, câu hỏi lấy từ người dùng phải được phép.
Chỗ khó, nói thẳng
Xây bộ kiểm tra từ gốc tốn công hơn dịch nhiều lần. Một câu hỏi tốt cần người nghĩ ra, người kiểm đáp án, người soát văn phong. Với các lĩnh vực chuyên môn như y tế, pháp lý, chi phí thời gian của chuyên gia không nhỏ. Đây là lý do nhiều nhóm vẫn chọn dịch, và cũng là lý do một bộ đề tiếng Việt làm tử tế có giá trị.
Đáp án đúng đôi khi không duy nhất. Hỏi "nên gọi người phụ nữ lớn tuổi hơn mẹ mình là gì" thì câu trả lời đúng tuỳ vùng, tuỳ quan hệ. Bộ kiểm tra phải chấp nhận nhiều đáp án hợp lý, và người chấm phải hiểu sự đa dạng đó thay vì áp một chuẩn của vùng mình.
Duy trì lâu dài còn khó hơn xây. Nhiều bộ đề được làm ra cho một dự án rồi bị bỏ, đáp án lỗi thời, không ai sửa. Một bộ đề sống cần người hoặc nhóm chịu trách nhiệm, có cách nhận báo lỗi, có phiên bản rõ ràng.
Dù khó, đây là việc người Việt làm tốt hơn bất kỳ ai. Không cần siêu máy tính, cần người hiểu tiếng Việt, hiểu đời sống, chịu khó và cẩn thận. Đó là một năng lực mà các trường, các hội nghề nghiệp và cộng đồng có thể cùng góp.
Một ví dụ: kiểm tra trợ lý trả lời thủ tục cho người dân
Giả sử một phường muốn dùng trợ lý AI trả lời câu hỏi thường gặp về thủ tục như đăng ký tạm trú, xin giấy xác nhận. Cách làm hời hợt là lấy vài câu hỏi tiếng Anh về dịch vụ công của nước ngoài, dịch ra, chạy thử. Kết quả có thể đẹp mà chẳng nói gì về việc ở phường.
Cách làm tử tế bắt đầu từ cán bộ một cửa. Họ biết người dân hỏi gì, hỏi theo kiểu nào: "cho em hỏi làm giấy tạm trú cần mang gì ạ", "con tui đi làm xa thì ai ký", hay chỉ một dòng không dấu gửi lúc nửa đêm. Gom vài trăm câu như vậy, bỏ tên tuổi, địa chỉ, là có nền cho bộ kiểm tra.
Tiếp theo là đáp án. Cán bộ nghiệp vụ viết đáp án đúng theo quy định hiện hành, ghi rõ câu nào đáp án có thể thay đổi khi quy định đổi. Rồi định nghĩa lỗi nguy hiểm: hướng dẫn sai giấy tờ khiến người dân đi lại nhiều lần, hoặc khẳng định một quy định không tồn tại.
Khi chạy kiểm tra, điều đáng xem không chỉ là tỷ lệ đúng, mà là hệ thống sai ở nhóm câu nào: câu không dấu, câu giọng địa phương, hay câu về trường hợp đặc biệt. Kết quả đó cho phường biết nên dùng trợ lý cho phần việc nào và phần nào phải để cán bộ trả lời trực tiếp.
Câu hỏi thường gặp
Benchmark là gì?
Benchmark là bộ bài kiểm tra chuẩn dùng để đo và so sánh các hệ thống AI trên cùng một tập câu hỏi. Điểm trên benchmark chỉ có ý nghĩa khi bộ câu hỏi sát với việc mình cần.
Mô hình đạt điểm cao trên bộ đề tiếng Anh có giỏi tiếng Việt không?
Không chắc. Năng lực có thể chuyển một phần sang tiếng Việt, nhưng mô hình vẫn có thể yếu ở phương ngữ, xưng hô, kiến thức trong nước. Chỉ đo bằng tiếng Việt mới biết.
Có thể dùng AI để viết câu hỏi kiểm tra tiếng Việt không?
Có thể dùng để gợi ý, nhưng câu hỏi do máy viết thường mang văn phong máy và dễ trùng điểm mạnh của chính mô hình. Cần người biên tập và nên có phần lớn câu hỏi do người thật viết.
Một bộ kiểm tra tiếng Việt cần bao nhiêu câu?
Không có con số chuẩn. Đủ để phân biệt được các hệ thống với sai số chấp nhận được, thường từ vài trăm câu cho một năng lực hẹp. Chất lượng từng câu quan trọng hơn số lượng.
Ai nên chịu trách nhiệm xây bộ kiểm tra tiếng Việt?
Không cần một nơi duy nhất. Trường đại học, doanh nghiệp, hội nghề nghiệp và cộng đồng mã nguồn mở đều có thể xây cho lĩnh vực của mình, miễn có quy trình kiểm lỗi và cập nhật.
