Benchmark, tạm gọi là bộ bài kiểm tra, là một tập câu hỏi hoặc nhiệm vụ cố định, có đáp án hoặc cách chấm rõ ràng, dùng để đo nhiều mô hình AI trên cùng một thước. Điểm cao nghĩa là mô hình làm tốt đúng loại đề đó, theo đúng cách chấm đó. Nó chưa nói gì nhiều về việc mô hình có làm tốt việc của bạn hay không.
Chuyện này giống bằng lái xe. Bài thi lý thuyết điểm tuyệt đối vẫn không bảo đảm người đó lái êm qua vòng xoay giờ tan tầm. Bài thi có ích, vì nó lọc được người chưa thuộc luật; nhưng nó đo một lát cắt hẹp của kỹ năng thật. Benchmark cũng vậy: có ích để so sánh, nguy hiểm khi bị đọc như lời phán cuối cùng.
Bài này đi qua ba việc: một bộ bài kiểm tra thật ra đo gì, những lý do khiến điểm cao bị hiểu sai, và cách bạn tự dựng một bộ kiểm tra nhỏ sát với công việc của mình.
Một bộ bài kiểm tra AI thật ra đo cái gì?
Mỗi bộ đề được dựng để trả lời một câu hỏi hẹp. Bộ trắc nghiệm kiến thức hỏi: mô hình có chọn đúng đáp án trong bốn phương án không. Bộ đề lập trình hỏi: đoạn mã mô hình viết ra có chạy qua các phép thử tự động không. Bộ đề đọc hiểu hỏi: đưa một văn bản dài, mô hình có trả lời đúng chi tiết nằm ở đoạn giữa không. Câu hỏi càng hẹp, điểm càng dễ chấm, nhưng cũng càng xa công việc đời thường.
Lý do người ta chấp nhận sự hẹp đó là tính lặp lại. Một bộ đề cố định cho phép hai nhóm ở hai nơi chạy cùng một bài, ra hai con số so được với nhau. Không có điều này thì mỗi bên tự khen sản phẩm của mình bằng vài ví dụ chọn sẵn, và người ngoài không có cách nào đối chiếu.
Nhưng mỗi bộ đề mang theo những lựa chọn ngầm của người làm ra nó: câu hỏi lấy từ đâu, viết bằng ngôn ngữ nào, đáp án do ai duyệt, chấm theo khớp từng chữ hay theo ý. Một bộ đề toán lấy từ kỳ thi phổ thông nước ngoài sẽ đo khả năng giải dạng bài đó, không đo được khả năng tính lãi trả góp theo cách một cửa hàng điện máy ở Biên Hoà đang làm.
Vì vậy câu nên hỏi trước khi nhìn điểm là: bộ đề này hỏi đúng câu gì, và câu đó gần hay xa với việc mình cần. Nếu xa, con số dù đẹp cũng chỉ nên được đọc như một tín hiệu chung về năng lực, không phải lời bảo đảm.
Vì sao điểm benchmark cao chưa chắc đã giỏi việc thật
Bộ đề bị bão hoà. Khi nhiều mô hình cùng đạt gần điểm tối đa, phần chênh còn lại chủ yếu là nhiễu và lỗi trong đáp án, không còn phân biệt được ai giỏi hơn.
Đề có thể đã lọt vào dữ liệu huấn luyện. Mô hình học từ một lượng văn bản khổng lồ trên mạng; nếu đề và lời giải nằm trong đó, điểm cao có thể là nhớ chứ không phải hiểu.
Cách hỏi làm đổi điểm. Cùng một câu, thêm câu dẫn "hãy suy nghĩ từng bước" hay đổi định dạng đáp án là điểm có thể lên xuống đáng kể; hai bảng điểm hỏi theo hai kiểu thì không so thẳng được.
Số lần thử không giống nhau. Có nơi cho mô hình trả lời một lần, có nơi cho thử nhiều lần rồi lấy lần đúng; con số thứ hai luôn đẹp hơn.
Trắc nghiệm có phần đoán. Bốn phương án thì đoán bừa cũng đúng khoảng một phần tư; điểm cần được đọc so với mức đoán bừa chứ không so với số không.
Cách chấm có thể sai. Chấm tự động theo khớp chuỗi sẽ đánh trượt câu trả lời đúng nhưng viết khác, và đôi khi chấm đúng câu trả lời sai nhưng trùng chữ.
Đáp án gốc cũng có lỗi. Bộ đề do người làm, người duyệt; một tỷ lệ nhỏ đáp án sai hoặc mơ hồ là chuyện thường gặp, và ở vùng điểm cao thì chính phần lỗi đó quyết định thứ hạng.
Điểm trung bình che mất chỗ yếu. Một mô hình có thể rất mạnh ở câu dễ và rất kém ở đúng loại câu khó mà doanh nghiệp bạn hay gặp; con số trung bình không cho thấy điều đó.
Làm bài khác với làm việc nhiều bước. Trả lời đúng từng câu riêng lẻ không bảo đảm mô hình giữ được mạch khi phải làm một chuỗi việc dài, tự sửa sai giữa chừng.
Ngôn ngữ của đề ảnh hưởng mạnh. Phần lớn bộ đề phổ biến viết bằng tiếng Anh; điểm trên đó nói rất ít về khả năng xử lý văn bản hành chính hay tin nhắn khách hàng tiếng Việt.
Chi phí và tốc độ không nằm trong điểm. Một mô hình hơn vài điểm nhưng chậm gấp mấy lần hoặc tốn gấp mấy lần có thể là lựa chọn kém hơn cho việc thật.
Người công bố chọn bảng để khoe. Báo cáo thường đưa những bộ đề mình làm tốt; điều nên để ý là những bộ đề quen thuộc mà lần này vắng mặt.
Những loại bộ kiểm tra hay gặp
Trắc nghiệm kiến thức. Hỏi kiến thức nhiều môn, dễ chấm, nhưng dễ bão hoà và dễ bị nhớ đề.
Giải toán có lời giải. Chấm đáp số cuối cùng; đo được phần nào khả năng suy luận nhiều bước, nhưng không biết mô hình đi đúng đường hay đoán trúng.
Lập trình có phép thử chạy được. Mã viết ra phải qua các bài test tự động; khách quan hơn, nhưng test viết thiếu thì mã sai vẫn qua.
Đọc văn bản dài. Giấu một chi tiết trong tài liệu rất dài rồi hỏi lại; đo khả năng không bỏ sót, không đo khả năng hiểu ý toàn văn.
Nhiệm vụ nhiều bước kiểu tác tử. Mô hình được giao công cụ, phải tự lên kế hoạch và hoàn thành một việc; gần đời thật hơn nhưng tốn kém và khó lặp lại y hệt.
So sánh cặp do người chấm. Người dùng xem hai câu trả lời giấu tên rồi chọn câu hay hơn; phản ánh sở thích người dùng, kể cả sở thích câu trả lời dài và tự tin.
Kiểm tra bịa thông tin. Hỏi những điều có đáp án kiểm chứng được, xem mô hình có bịa nguồn, bịa số hay biết nói "không chắc".
Kiểm tra từ chối yêu cầu nguy hại. Đo mô hình có từ chối đúng chỗ, và cũng đo nó có từ chối oan những câu hỏi vô hại không.
Kiểm tra thiên lệch. Đổi giới tính, vùng miền, tuổi trong cùng một câu hỏi rồi xem câu trả lời có đổi theo không.
Kiểm tra chống chịu. Thêm lỗi chính tả, viết không dấu, đổi cách diễn đạt, xem điểm có tụt mạnh không.
Đa ngôn ngữ. Cùng một nhiệm vụ trên nhiều thứ tiếng; thường lộ ra khoảng cách giữa tiếng Anh và các ngôn ngữ ít dữ liệu hơn.
Đọc một bảng điểm cho tỉnh táo
Khi thấy một bảng xếp hạng mô hình, đừng nhìn cột điểm trước. Nhìn tên bộ đề, rồi tìm xem bộ đề đó hỏi gì, ra đời bao lâu rồi, đã có nhiều mô hình chạm trần chưa. Một bộ đề cũ, đã bão hoà, chênh nhau một hai điểm gần như không mang thông tin.
Tiếp theo, tìm phần ghi chú về cách chạy: hỏi một lần hay nhiều lần, có ví dụ mẫu trong câu hỏi không, có cho mô hình suy nghĩ dài không, ai chấm. Hai con số chạy theo hai cách khác nhau đặt cạnh nhau trong một bảng là cách so sánh dễ gây hiểu lầm nhất, và nó xuất hiện thường hơn bạn nghĩ.
Sau đó hỏi ai chạy bài kiểm tra. Kết quả do chính bên làm mô hình tự chạy vẫn có giá trị, nhưng nên được xác nhận bởi bên độc lập chạy lại. Khi chênh lệch giữa số tự công bố và số chạy lại lớn, con số độc lập đáng tin hơn.
Cuối cùng, nhớ rằng bảng điểm trả lời câu "mô hình nào giỏi hơn trên đề này", còn câu bạn cần là "mô hình nào làm tốt việc của mình với chi phí chấp nhận được". Hai câu chỉ trùng nhau khi đề gần việc. Phần lớn thời gian chúng không trùng, và lúc đó bạn cần bộ kiểm tra của riêng mình.
Tự dựng bộ kiểm tra nhỏ cho công việc của mình
Lấy câu hỏi từ việc thật. Gom năm mươi đến một trăm yêu cầu thật mà nhân viên hoặc khách đã gửi, xoá thông tin cá nhân trước khi dùng.
Viết đáp án mẫu do người trong nghề duyệt. Không cần câu chữ y hệt, chỉ cần ghi rõ những ý bắt buộc phải có và những điều tuyệt đối không được nói.
Chia theo độ khó. Để riêng nhóm câu dễ, câu thường, câu hiểm; mô hình hay đổ ở nhóm câu hiểm, và đó mới là chỗ gây thiệt hại.
Thêm câu không có đáp án. Những câu mà câu trả lời đúng là "không đủ thông tin" hoặc "cần hỏi người phụ trách"; đây là chỗ mô hình hay bịa.
Thêm biến thể tiếng Việt đời thường. Viết không dấu, viết tắt kiểu tin nhắn, giọng địa phương, sai chính tả; khách thật viết như vậy.
Chạy mỗi câu vài lần. Mô hình có độ ngẫu nhiên; một câu lúc đúng lúc sai là dấu hiệu phải xem kỹ.
Chấm bằng bảng tiêu chí. Đúng ý, đủ ý, không bịa, đúng giọng, đúng quy định nội bộ; mỗi tiêu chí chấm riêng thay vì cho một điểm chung.
Để hai người chấm độc lập. Khi hai người chấm lệch nhau nhiều, tiêu chí đang mơ hồ, cần viết lại trước khi tin vào điểm.
Giữ kín bộ đề. Không dán bộ đề vào nơi công cộng, không dùng nó để tinh chỉnh mô hình, kẻo nó mất giá trị đo.
Ghi lại phiên bản. Mỗi lần nhà cung cấp cập nhật mô hình hay bạn đổi câu dẫn, chạy lại toàn bộ và lưu kết quả để thấy chỗ tốt lên, chỗ tệ đi.
Tính cả thời gian và chi phí. Ghi lại thời gian trả lời và chi phí cho mỗi lượt; quyết định chọn mô hình nên dựa trên cả ba thứ: chất lượng, tốc độ, tiền.
Câu hỏi thường gặp
Benchmark và kiểm định khác nhau thế nào?
Benchmark là bộ đề chung để so nhiều mô hình với nhau. Kiểm định thường rộng hơn: một quy trình đánh giá trước khi đưa mô hình vào dùng, gồm cả benchmark, thử đối kháng và kiểm tra theo yêu cầu riêng của nơi dùng.
Mô hình đứng đầu bảng xếp hạng có phải lựa chọn tốt nhất cho doanh nghiệp?
Chưa chắc. Bảng xếp hạng đo trên đề chung, thường bằng tiếng Anh, không tính chi phí và tốc độ. Doanh nghiệp nên thử hai ba mô hình đứng đầu trên bộ câu hỏi của chính mình rồi mới chọn.
Vì sao các hãng liên tục làm bộ đề mới?
Vì bộ đề cũ bị bão hoà hoặc bị nghi đã lọt vào dữ liệu huấn luyện. Khi nhiều mô hình cùng chạm trần, bộ đề không còn phân biệt được ai mạnh hơn.
Điểm benchmark có nói gì về độ an toàn không?
Điểm năng lực thì không. Độ an toàn cần những bộ kiểm tra riêng về từ chối yêu cầu nguy hại, bịa thông tin, thiên lệch, và thường cần cả thử đối kháng do người làm.
Người không biết lập trình có tự làm bộ kiểm tra được không?
Được. Một bảng tính gồm câu hỏi thật, ý bắt buộc trong câu trả lời và cột chấm điểm đã đủ để so hai mô hình cho một việc cụ thể. Phần khó nhất là chọn câu hỏi sát thực tế, không phải phần kỹ thuật.
