Muốn biết một mô hình AI làm việc bằng tiếng Việt tốt tới đâu, cách nhanh nhất là dịch một bộ đề tiếng Anh sẵn có. Cách đó cho ra một con số, nhưng con số ấy đo sai chỗ: đề dịch mang theo lỗi dịch và bối cảnh nước ngoài, lại bỏ sót đúng những thứ làm tiếng Việt khó với máy, như dấu, xưng hô, từ địa phương, cách viết tin nhắn. Đo cho đúng thì phải có đề soạn từ gốc tiếng Việt.
Đề dịch vẫn có chỗ dùng: so sánh nhanh, xem mô hình có giữ được kiến thức khi đổi ngôn ngữ không. Nhưng nếu bạn chọn mô hình cho tổng đài, cho văn phòng công chứng, cho trường học ở Việt Nam, chỉ dựa vào đề dịch là đánh cược.
Đề dịch từ tiếng Anh hỏng ở những chỗ nào?
Chỗ hỏng dễ thấy nhất là bối cảnh. Một bài toán tính quãng đường bằng dặm, một câu hỏi về thủ tục thuế của nước khác, một câu đố chơi chữ tiếng Anh, khi dịch sang tiếng Việt thì vẫn có đáp án, nhưng không còn đo khả năng xử lý tình huống mà người Việt thật sự gặp.
Chỗ hỏng thứ hai là chính bản dịch. Dịch máy rồi không ai đọc lại thì câu hỏi có thể sai nghĩa, phương án trắc nghiệm có thể trùng nghĩa nhau, đáp án đúng ở bản gốc thành mơ hồ ở bản dịch. Mô hình trả lời "sai" một câu như vậy chưa chắc là mô hình kém; có khi là đề hỏng.
Chỗ hỏng thứ ba khó thấy hơn: câu chữ dịch thường quá chuẩn, quá đầy đủ. Khách thật nhắn "shop ơi cái này còn size M ko, ship về Thủ Dầu Một mấy ngày", không ai nhắn như văn bản dịch. Mô hình làm tốt trên câu chuẩn có thể lúng túng khi gặp câu thật.
Chỗ hỏng cuối cùng là đề dịch có thể đã bị nhiễm từ gốc. Nếu mô hình đã thấy bản tiếng Anh trong dữ liệu huấn luyện, nó có thể nhận ra câu hỏi qua bản dịch và trả lời nhờ nhớ. Điểm số khi đó đo trí nhớ xuyên ngôn ngữ, không đo năng lực tiếng Việt.
Những năng lực riêng của tiếng Việt cần đo
Có dấu và không dấu. Rất nhiều người vẫn gõ không dấu; "co ban ca khong" có thể là "có bán cá không" hay "cô bán cà không", mô hình phải đoán đúng theo ngữ cảnh.
Xưng hô theo vai. Anh, chị, em, cô, chú, bác, quý khách; dùng sai xưng hô là câu trả lời đúng thông tin vẫn làm khách khó chịu.
Từ địa phương. "Mần", "chi", "răng", "dzậy", "hông"; cùng một ý nhưng cách nói ở Hải Phòng, Nghệ An, Cần Thơ khác nhau.
Từ đồng âm và Hán Việt. Nhiều tiếng trùng âm khác nghĩa; mô hình phải phân biệt qua ngữ cảnh, nhất là trong văn bản pháp lý và y tế.
Ranh giới từ. Tiếng Việt viết cách theo từng tiếng nên ranh giới từ không hiện ra trên mặt chữ; tách sai một từ có thể đổi nghĩa cả câu.
Số, tiền, ngày tháng. Dấu chấm và dấu phẩy phân cách số ngược với thói quen tiếng Anh; ngày viết trước tháng; đọc sai là sai số tiền.
Văn bản hành chính. Cách viết đơn, biên bản, công văn có khuôn riêng; mô hình viết sai khuôn thì người làm văn phòng phải sửa lại hết.
Tên riêng và địa danh. Tên người có dấu, địa danh có thể đã đổi; mô hình hay giữ cách gọi cũ hoặc trộn lẫn hai cách gọi.
Viết tắt và tiếng lóng mạng. "ko", "dc", "nhma", "j"; tin nhắn khách hàng đầy những cách viết này.
Lẫn tiếng Anh. Nhân viên văn phòng nói "gửi file báo cáo trước deadline"; mô hình phải hiểu câu lai mà không dịch máy móc.
Thành ngữ, cách nói vòng. "Để em xem đã" nhiều khi là lời từ chối khéo; hiểu theo nghĩa đen là hiểu sai ý người nói.
Kiến thức đời sống Việt Nam. Thủ tục, thói quen, lễ tết, cách tính tuổi, cách gọi món ăn theo vùng; thứ mà dữ liệu tiếng Anh ít khi có.
Soạn bộ đề tiếng Việt từ gốc: làm thế nào cho chắc
Bắt đầu từ việc thật, không bắt đầu từ bộ đề có sẵn. Một nhóm muốn đo mô hình cho tổng đài điện lực thì gom câu hỏi khách đã gọi tới, đã ẩn danh; một nhóm đo cho trường học thì lấy câu hỏi học sinh thật sự đặt. Đề sinh ra từ việc thật vừa sát thực tế vừa ít khả năng đã nằm trên mạng.
Người soạn nên đến từ nhiều vùng và nhiều lứa tuổi. Một bộ đề do toàn sinh viên ở một thành phố soạn sẽ thiếu giọng của người lớn tuổi, của người ở tỉnh khác. Ghi kèm mỗi câu hỏi nó mang đặc điểm gì: không dấu, giọng địa phương, có viết tắt, để sau này xem mô hình yếu ở nhóm nào.
Đáp án cần được ít nhất hai người duyệt độc lập. Chỗ hai người không thống nhất là chỗ đề còn mơ hồ, nên sửa đề trước khi dùng. Với câu hỏi chuyên môn như pháp lý, y tế, đáp án phải do người trong nghề duyệt, và ghi rõ đáp án đúng tại thời điểm nào, vì quy định có thể thay đổi.
Cuối cùng, giữ phần lớn bộ đề kín. Một bộ đề tiếng Việt tốt là tài sản hiếm; đăng hết lên mạng thì vài năm sau nó lọt vào dữ liệu huấn luyện và mất giá trị đo. Có thể công bố một phần mẫu để người khác hiểu dạng đề, giữ phần còn lại để chấm.
Chấm câu trả lời tiếng Việt cho công bằng
Chấm theo ý, không theo chữ. Tiếng Việt có nhiều cách nói cùng một ý; so khớp từng chữ với đáp án mẫu sẽ đánh trượt oan.
Có tiêu chí "tự nhiên". Câu trả lời đúng nhưng đọc như văn dịch thì người dùng vẫn thấy khó chịu; tiêu chí này nên chấm riêng.
Chấm xưng hô theo ngữ cảnh. Cùng một câu trả lời, gửi khách lớn tuổi và gửi bạn trẻ cần giọng khác nhau.
Người chấm từ nhiều vùng. Một cách nói tự nhiên ở miền Nam có thể nghe lạ ở miền Bắc; nhiều vùng chấm giúp không thiên một phía.
Tách lỗi dấu, lỗi chính tả. Ghi riêng để thấy mô hình yếu ở mặt chữ hay yếu ở nội dung.
Cảnh giác với câu trả lời dài. Người chấm và máy chấm đều có xu hướng ưa câu dài, nhiều ý; cần nhắc tiêu chí "đủ và gọn".
Có câu mà đáp án đúng là từ chối hoặc hỏi lại. Mô hình đoán bừa khi thiếu thông tin phải bị trừ điểm, dù đoán trúng.
Dùng AI chấm thì phải kiểm lại AI chấm. Cho người chấm một mẫu ngẫu nhiên rồi so; nếu lệch nhiều thì máy chấm chưa đủ tin cho tiếng Việt.
Giấu tên mô hình khi chấm. Người chấm biết câu nào của mô hình nào sẽ dễ bị ấn tượng sẵn chi phối.
Báo cáo theo nhóm câu. Không chỉ một điểm chung, mà điểm cho câu không dấu, câu giọng địa phương, câu hành chính, để thấy chỗ yếu.
Ghi lại lỗi điển hình. Vài ví dụ lỗi thật kèm theo bảng điểm giúp người đọc hiểu con số hơn mọi biểu đồ.
Những sai lầm hay gặp khi đánh giá mô hình cho tiếng Việt
Tin điểm tiếng Anh. Mô hình đứng đầu bảng tiếng Anh chưa chắc đứng đầu khi làm việc bằng tiếng Việt.
Thử bằng vài câu hỏi tự nghĩ ra. Năm câu hỏi người đánh giá thấy thú vị không đại diện cho hàng nghìn câu khách sẽ hỏi.
Chỉ thử câu viết chuẩn. Bỏ qua tiếng Việt không dấu và viết tắt là bỏ qua phần lớn tin nhắn thật.
Đề toàn của một vùng. Kết quả tốt ở giọng Hà Nội không nói gì về khách ở Cà Mau.
Không đo bịa thông tin. Mô hình trả lời trôi chảy về thủ tục hành chính nhưng bịa tên giấy tờ là lỗi nguy hiểm, cần đề riêng để bắt.
Không ghi thời điểm của đáp án. Quy định, giá dịch vụ, địa danh thay đổi; đáp án đúng năm ngoái có thể sai năm nay.
Để người soạn đề cũng là người chấm. Người soạn hay chấm dễ cho những câu trả lời giống cách mình nghĩ.
Bỏ qua tốc độ trên văn bản tiếng Việt. Một số mô hình tách tiếng Việt thành nhiều đơn vị xử lý hơn tiếng Anh, nên chậm hơn và tốn hơn cho cùng độ dài.
Đăng toàn bộ đề lên mạng. Đề lọt vào dữ liệu huấn luyện các mô hình sau thì không còn đo được gì.
Đánh giá một lần rồi thôi. Mô hình được cập nhật thường xuyên; bảng điểm cũ không còn đúng với phiên bản đang chạy.
Quên hỏi người dùng thật. Một buổi cho vài khách quen dùng thử và nhận xét có khi chỉ ra điều mà mọi bộ đề bỏ sót.
Câu hỏi thường gặp
Có bộ đề tiếng Việt công khai nào dùng được không?
Có một số bộ đề tiếng Việt do các nhóm nghiên cứu và cộng đồng công bố, mỗi bộ đo một năng lực hẹp. Trước khi dùng, nên đọc kỹ cách soạn, xem đề dịch hay đề gốc, và nhớ rằng đề công khai có nguy cơ đã lọt vào dữ liệu huấn luyện.
Doanh nghiệp nhỏ có cần bộ đề tiếng Việt riêng không?
Nên có một bộ nhỏ, vài chục đến một trăm câu lấy từ tin nhắn khách thật. Không cần quy mô nghiên cứu; cần sát việc, có đáp án do người hiểu nghiệp vụ duyệt, và giữ kín.
Mô hình trả lời tiếng Việt trôi chảy có nghĩa là hiểu tiếng Việt tốt không?
Chưa chắc. Trôi chảy là năng lực bề mặt; mô hình vẫn có thể hiểu sai câu không dấu, dùng sai xưng hô hoặc bịa thông tin về thủ tục ở Việt Nam. Phải đo riêng từng mặt.
Dùng một mô hình AI để chấm câu trả lời tiếng Việt có ổn không?
Dùng được để tiết kiệm công, nhưng phải kiểm tra máy chấm bằng cách so với người chấm trên một mẫu. Máy chấm cũng có thiên lệch, như ưa câu trả lời dài hoặc giống văn phong của chính nó.
Vì sao xưng hô lại quan trọng khi đánh giá chatbot?
Vì trong tiếng Việt, xưng hô mang theo quan hệ và sự tôn trọng. Một trợ lý gọi khách lớn tuổi là "bạn" hay tự xưng sai vai làm khách thấy bị coi thường dù thông tin đúng, và đó là lý do khách bỏ đi.
