Một mô hình ngôn ngữ lớn có thể giải bài toán mà học sinh chuyên phải nghĩ cả buổi, rồi lại đếm sai số chữ "n" trong một từ, hoặc khẳng định chắc nịch rằng 9,11 lớn hơn 9,9. Đó không phải chuyện ngẫu nhiên. Năng lực của máy không tăng đều như của một người lớn lên, mà lởm chởm: mảng này vượt chuyên gia, mảng kia thua đứa trẻ.
Người làm nghề hay gọi hình dạng đó là năng lực răng cưa. Hiểu vì sao nó lởm chởm giúp mình dùng AI đúng chỗ, và giúp đọc các tuyên bố về AGI cho tỉnh: một hệ thống có những chỗ hổng kỳ lạ như vậy thì chưa thể gọi là trí tuệ tổng quát theo nghĩa đầy đủ.
Mô hình không nhìn thấy chữ cái như mình
Khi bạn gõ một câu, mô hình không đọc từng chữ cái. Văn bản được cắt thành các mẩu gọi là token, mỗi mẩu có thể là cả một từ, nửa từ, hoặc vài ký tự hay đi cùng nhau. Từ tiếng Anh quen thuộc có thể là một mẩu; từ tiếng Việt có dấu thường bị cắt vụn hơn.
Hỏi mô hình "từ này có mấy chữ n" giống hỏi một người chỉ được xem các miếng ghép đã dán sẵn, không được bóc ra, rằng tranh có bao nhiêu chấm đỏ. Họ phải đoán từ trí nhớ về bức tranh, chứ không đếm trực tiếp được. Vì vậy mô hình có thể viết cả bài luận hay mà lại sai một câu đếm đơn giản.
Chuyện so 9,11 với 9,9 cũng có gốc tương tự cộng thêm thói quen từ dữ liệu: trong số hiệu phiên bản phần mềm hay số chương sách, 9.11 đúng là đứng sau 9.9. Mô hình học từ văn bản nên mang theo cả những thói quen đọc số lẫn lộn đó.
Những lỗi này đang được sửa dần bằng cách cho mô hình viết nháp từng bước hoặc gọi công cụ tính toán. Nhưng chúng là lời nhắc tốt: bề ngoài trôi chảy không cho biết bên trong máy xử lý vấn đề giống mình.
Việc dễ với người lại khó với máy, và ngược lại
Giới làm robot từ lâu đã nhận ra một nghịch lý: những việc người lớn thấy khó như đánh cờ, tính tích phân lại tương đối dễ cho máy, còn những việc đứa trẻ ba tuổi làm không cần nghĩ như cầm cái chén, bước qua bậc cửa, nhận ra mẹ đang mệt lại rất khó. Lý do là kỹ năng giác quan và vận động của người được tiến hoá mài giũa qua thời gian rất dài, nên mình làm mà không thấy nó khó.
Mô hình ngôn ngữ thừa hưởng nghịch lý đó theo kiểu mới. Nó học từ chữ viết, mà chữ viết ghi lại phần lớn kiến thức sách vở nhưng ghi rất ít về cảm giác tay cầm cái gáo nước nóng, hay cái ước lượng "chỗ này xe máy lách qua được". Thứ con người không bao giờ cần viết ra thì mô hình khó học.
Một người thợ hồ ở Bình Dương nhìn bức tường là biết lệch, không cần thước. Kỹ năng đó nằm trong mắt và tay, không nằm trong sách. Muốn máy có nó, phải cho máy dữ liệu từ cảm biến, từ hành động thật, và đó là hướng đi chậm và tốn kém hơn nhiều so với cho đọc thêm văn bản.
Hệ quả cho người dùng rất thực tế: đừng suy từ việc AI làm được việc khó ra kết luận rằng nó chắc chắn làm được việc dễ hơn. Với máy, khó và dễ được xếp theo một trật tự khác.
Mô hình thường mạnh ở đâu
Việc có nhiều văn bản mẫu. Viết thư, tóm tắt, dịch các cặp ngôn ngữ phổ biến, vì dữ liệu dồi dào.
Việc có đáp án kiểm tra được. Toán, lập trình có bài kiểm thử: dễ chấm nên dễ huấn luyện bằng phản hồi tự động.
Tra cứu kiến thức phổ thông. Câu hỏi mà sách giáo khoa và bách khoa đều viết tới.
Chuyển giọng văn. Viết lại một đoạn cho trang trọng hơn hay dễ hiểu hơn.
Gợi ý ý tưởng. Liệt kê nhiều hướng, vì không bị ngại sai như người.
Đọc nhanh tài liệu dài. Rút ý chính trong vài giây, dù vẫn cần đối chiếu chỗ quan trọng.
Viết mã cho bài toán phổ biến. Những mẫu đã xuất hiện hàng nghìn lần trong mã nguồn mở.
Giải thích khái niệm. Nói một điều theo nhiều cách cho tới khi người hỏi hiểu.
Phân loại văn bản. Xếp email, bình luận, phản hồi khách hàng vào nhóm.
Trả lời kiểu thi cử. Câu hỏi đóng, ngắn, dạng đề đã quen.
Làm việc lặp lại có quy tắc rõ. Điền mẫu, chuẩn hoá định dạng, trích thông tin từ biểu mẫu.
Và thường hụt ở đâu
Đếm, so số, xử lý ký tự. Do cách cắt token, nhất là với tiếng Việt có dấu.
Việc dài nhiều bước. Lỗi nhỏ ở bước đầu dồn lên, và mô hình ít khi tự quay lại kiểm tra.
Biết mình không biết. Hay trả lời tự tin cả khi không có căn cứ, sinh ra thông tin bịa.
Kiến thức địa phương hẹp. Thủ tục ở một phường, tập quán một vùng, giá cả một chợ: dữ liệu mỏng nên dễ sai.
Thông tin mới. Chỉ biết tới thời điểm dữ liệu huấn luyện, trừ khi được nối với công cụ tra cứu.
Suy luận không gian. Xếp đồ vào cốp xe, hình dung đường đi trong hẻm, quay một vật trong đầu.
Hiểu ngầm ý trong giao tiếp. Câu "thôi để em tính" của người Việt nhiều khi là lời từ chối khéo.
Kỹ năng tay chân. Mô hình văn bản không có tay; robot thì còn xa mới khéo như người.
Nhất quán. Hỏi lại cùng câu theo cách khác có thể ra kết luận khác.
Ngôn ngữ ít dữ liệu. Tiếng dân tộc thiểu số, phương ngữ, chữ Nôm đều yếu hơn hẳn.
Câu đố được sửa đi một chút. Đổi một chi tiết trong câu đố quen thuộc, mô hình vẫn trả lời theo đáp án cũ.
Răng cưa nói gì về đường tới AGI và về an toàn
Không có một con số trí tuệ chung. Năng lực lệch nhau nhiều như vậy thì một điểm số tổng hợp dễ gây hiểu nhầm.
Răng cưa có thể dịch chuyển nhanh. Chỗ hôm nay yếu có thể được vá trong vài thế hệ mô hình, nên đừng coi điểm yếu là vĩnh viễn.
Cũng có chỗ hổng dai dẳng. Một số lỗi gắn với cách mô hình học, sửa cái này lại lộ cái khác.
Nguy hiểm nằm ở chỗ người ta tin quá. Thấy máy giỏi việc khó, người dùng bớt kiểm tra phần việc dễ, và lỗi lọt qua đúng chỗ đó.
Kiểm định phải phủ rộng. Thử mô hình ở cả mảng nó giỏi lẫn mảng tưởng là hiển nhiên.
Giao việc theo hình răng cưa. Cho máy làm phần nó mạnh, người giữ phần máy hụt, và có bước đối chiếu ở giữa.
Năng lực bất ngờ có thể xuất hiện. Đôi khi một kỹ năng tăng vọt khi mô hình đổi thế hệ, gây khó cho việc dự báo.
Một hệ thống siêu việt ở vài mảng đã đủ quan trọng. Không cần giỏi toàn diện, chỉ cần vượt người ở một mảng nhạy cảm là đã cần quản lý cẩn thận.
Đừng lấy chỗ hổng làm lý do yên tâm. Máy đếm sai chữ không có nghĩa máy không thể làm hại ở việc khác.
Cũng đừng lấy chỗ giỏi làm lý do sợ hãi. Giải đề toán hay không có nghĩa là có ý đồ hay tự chủ.
Đo đi đo lại. Bản đồ răng cưa đổi theo từng phiên bản, nên kiểm tra phải lặp lại.
Câu hỏi thường gặp
Năng lực răng cưa của AI là gì?
Đó là cách gọi hình dạng năng lực không đều của mô hình AI: rất giỏi ở một số việc khó nhưng vụng ở việc người thấy dễ. Nó khác với con người, vốn có năng lực tương đối liền mạch giữa các việc gần nhau.
Vì sao chatbot đếm sai số chữ cái trong một từ?
Vì mô hình đọc văn bản theo các mẩu token chứ không theo từng chữ cái, nên không đếm trực tiếp được. Khi được cho viết từng ký tự ra rồi đếm, hoặc gọi công cụ, nó làm đúng hơn nhiều.
Tiếng Việt có làm AI kém đi không?
Thường là có ở một số mặt. Dữ liệu tiếng Việt ít hơn tiếng Anh và chữ có dấu bị cắt token vụn hơn, nên các việc liên quan tới ký tự, chính tả, kiến thức địa phương hay sai hơn.
Có nên tin AI ở việc dễ vì nó đã làm tốt việc khó?
Không nên. Thứ tự khó dễ của máy khác của người, nên mỗi loại việc cần được kiểm tra riêng trước khi giao hẳn cho máy.
Khi nào răng cưa được san phẳng?
Không ai biết chắc. Một số chỗ hổng đang được lấp nhanh bằng công cụ và huấn luyện thêm, nhưng các kỹ năng gắn với cơ thể và trải nghiệm thật có thể còn lâu mới bắt kịp người.
