Hiện chưa có một thước đo nào được giới nghiên cứu đồng thuận để tuyên bố "hệ thống này đã là AGI". Thay vào đó, người ta ghép nhiều cách đo, mỗi cách soi một mặt của trí tuệ chung: hệ thống làm được bao nhiêu loại việc, giải được câu đố hoàn toàn mới hay không, tự làm trọn được công việc dài bao lâu, và học việc mới nhanh tới đâu.
Câu hỏi "đo trí tuệ chung" khác câu hỏi "chấm một bài kiểm tra". Một học sinh đạt mười điểm môn toán chưa nói được em có thể làm kỹ sư, bác sĩ hay thợ mộc. Muốn biết một hệ thống có gần trí tuệ tổng quát không, phải đo độ rộng và độ linh hoạt, thứ khó đo hơn nhiều so với độ đúng trên một đề.
Bài này đi qua những cách đo đang được dùng, mỗi cách nói được gì, và vì sao chúng vẫn chưa ghép lại thành một câu trả lời chung.
Vì sao trắc nghiệm IQ của người không dùng cho máy được
Bài trắc nghiệm trí tuệ của người được thiết kế dựa trên một quan sát: ở người, các năng lực trí óc có xu hướng đi cùng nhau. Ai giỏi nhận ra quy luật dãy hình thường cũng khá ở vốn từ và ở tính nhẩm. Nhờ vậy một bài kiểm tra ngắn có thể dự đoán sơ bộ nhiều năng lực khác.
Với máy, giả định đó gãy. Năng lực của mô hình lởm chởm: rất giỏi mảng này, vụng mảng kia, và thứ tự khó dễ khác hẳn người. Một mô hình có thể đạt điểm vượt trội ở phần từ vựng của bài trắc nghiệm mà vẫn lúng túng ở việc một đứa trẻ làm được. Con số tổng nói rất ít.
Thêm một vấn đề nữa: đề trắc nghiệm của người có thể đã nằm trong dữ liệu huấn luyện. Người đi thi không được xem trước đề; mô hình có thể đã đọc hàng nghìn đề tương tự kèm lời giải.
Vì thế, người làm nghề hầu như không nói tới "IQ của mô hình". Khi thấy một bài báo giật tít kiểu "AI có IQ ngang thiên tài", nên hiểu đó là cách nói gây chú ý chứ không phải một phép đo có ý nghĩa khoa học.
Đo trí tuệ linh hoạt: câu đố chưa từng thấy
Các nhà tâm lý học phân biệt hai loại trí tuệ: trí tuệ kết tinh là vốn kiến thức và kỹ năng đã tích luỹ, trí tuệ linh hoạt là khả năng xử lý vấn đề mới mà không có kinh nghiệm sẵn. Mô hình ngôn ngữ lớn rất mạnh về loại thứ nhất, vì đã đọc khối văn bản khổng lồ. Câu hỏi mở là nó mạnh tới đâu ở loại thứ hai.
Để đo trí tuệ linh hoạt, một số nhóm nghiên cứu thiết kế bộ câu đố hình mà mỗi câu dùng một quy luật mới, chỉ cho vài ví dụ rồi yêu cầu suy ra quy luật. Người bình thường giải được phần lớn sau vài phút suy nghĩ. Các mô hình từng làm rất kém ở loại đề này, rồi cải thiện đáng kể khi được cho nghĩ lâu hơn, nhưng cái giá tính toán cho mỗi câu thường cao hơn người rất nhiều.
Hãy hình dung một người thợ điện lần đầu gặp một loại công tắc lạ. Người giỏi không cần ai dạy; thử vài lần, quan sát, đoán ra cách nó hoạt động. Đó là thứ các bộ câu đố mới muốn đo: khả năng tự rút quy luật từ rất ít thông tin.
Khi máy đạt điểm cao trên một bộ câu đố kiểu này, các nhà thiết kế thường làm bộ mới khó hơn, vì họ nghi mô hình đã học được mẹo riêng cho loại đề đó chứ chưa hẳn là linh hoạt hơn. Cuộc rượt đuổi này cho thấy một điều: định nghĩa "câu đố thật sự mới" cũng khó như chính trí tuệ linh hoạt.
Các thước đo đang được ghép lại
Độ rộng các loại việc. Đếm xem hệ thống làm được bao nhiêu loại việc trí óc khác nhau ở mức chấp nhận được.
Độ sâu so với người có nghề. Trong từng loại việc, kết quả đứng ở mức người mới học, người thạo việc hay chuyên gia.
Câu đố mới. Giải được vấn đề dùng quy luật chưa từng gặp, từ vài ví dụ.
Độ dài công việc tự làm trọn. Hệ thống tự hoàn thành được việc mà người cần mấy phút, mấy giờ hay mấy ngày.
Tốc độ học việc mới. Cần bao nhiêu ví dụ, bao nhiêu lời dặn để làm được một quy trình chưa thấy.
Tỉ lệ việc có giá trị kinh tế. Bao nhiêu phần việc của một nghề thật có thể giao cho máy làm đạt yêu cầu.
Độ tin cậy. Làm đúng không chỉ trung bình mà đều tay, nhất là ở ca quan trọng.
Tự nhận biết giới hạn. Biết khi nào mình không chắc và cần hỏi lại.
Chi phí mỗi lần làm. Làm được nhưng tốn gấp nhiều lần người thì khác với làm được rẻ hơn người.
Chuyển kỹ năng. Học xong việc này có làm khá hơn ở việc gần giống mà không cần dạy thêm.
Làm việc trong môi trường thật. Dùng phần mềm, tìm tài liệu, phối hợp với người như một nhân viên.
Thước đo "độ dài công việc" và cách đọc nó
Ý tưởng chính. Thay vì hỏi đúng hay sai, hỏi mô hình tự làm trọn được việc dài cỡ nào nếu tính bằng thời gian người làm.
Vì sao hữu ích. Nó gần với câu hỏi người dùng quan tâm: giao cho máy được việc lớn tới đâu.
Một ví dụ đời thường. Sửa một lỗi đánh máy là việc vài phút; dựng xong một phần mềm quản lý tiệm tạp hoá là việc nhiều ngày.
Thường đo bằng ngưỡng thành công. Ví dụ độ dài việc mà mô hình làm thành công khoảng một nửa số lần.
Xu hướng được quan sát. Các nhóm theo dõi thấy độ dài này tăng qua các thế hệ mô hình, chủ yếu ở việc lập trình và phần mềm.
Giới hạn thứ nhất. Phần lớn phép đo làm trên việc phần mềm, chưa chắc đúng cho nghề khác.
Giới hạn thứ hai. Thành công một nửa số lần là chưa đủ để giao việc quan trọng.
Giới hạn thứ ba. Việc trong phép đo thường được mô tả rõ ràng, còn việc thật hay mập mờ.
Đừng kéo đường thẳng ra xa. Một xu hướng tới nay không bảo đảm sẽ giữ nguyên nhịp.
Ý nghĩa cho an toàn. Việc tự làm càng dài, càng nhiều bước không ai xem, nên giám sát càng cần thiết.
Ý nghĩa cho người dùng. Chia việc lớn thành phần nhỏ có điểm kiểm tra vẫn là cách giao việc chắc nhất.
Vì sao vẫn chưa có vạch đích AGI được đồng thuận
Định nghĩa khác nhau. Người lấy mốc "ngang người trung bình", người lấy "ngang chuyên gia", người lấy "làm được phần lớn nghề".
Năng lực tăng không đều. Mảng này qua vạch, mảng kia chưa, nên không có một khoảnh khắc chung.
Thước bị bão hoà nhanh. Đề vừa ra đã bị vượt, phải làm đề mới, khó so qua thời gian.
Lợi ích của bên công bố. Bên bán sản phẩm có lý do để nói gần AGI; bên hoài nghi có lý do để dời vạch.
Không đo được cái quan trọng nhất dễ dàng. Phán đoán, sáng tạo, hiểu bối cảnh xã hội rất khó chấm tự động.
Có cả yếu tố kinh tế. Một số người đề xuất định nghĩa theo tỉ lệ việc làm có thể thay thế, gây tranh cãi riêng.
Cơ thể có cần không. Chưa thống nhất việc làm robot có phải là một phần của trí tuệ chung.
Ngôn ngữ đo lệch. Đo bằng tiếng Anh có thể cho kết quả đẹp hơn đo bằng tiếng Việt.
Câu hỏi triết học còn mở. Trí tuệ là năng lực giải việc hay cần thêm hiểu biết thật sự, vẫn đang được bàn.
Dời vạch là chuyện thường. Mỗi khi máy làm được một việc từng coi là dấu hiệu trí tuệ, nhiều người lại đặt vạch xa hơn.
Hệ quả thực tế. Thay vì chờ một tuyên bố AGI, nên theo dõi từng năng lực cụ thể và chuẩn bị theo từng năng lực.
Câu hỏi thường gặp
Có thể đo IQ của AI không?
Có thể cho mô hình làm đề trắc nghiệm trí tuệ của người, nhưng con số không có ý nghĩa như ở người, vì năng lực của máy không đi cùng nhau và đề có thể đã nằm trong dữ liệu huấn luyện.
Làm sao biết khi nào đã có AGI?
Chưa có cách được mọi người đồng ý. Thực tế nhiều khả năng sẽ không có một ngày rõ ràng, mà là các năng lực lần lượt vượt các mốc khác nhau, kèm tranh luận về việc đã đủ gọi là AGI hay chưa.
Trí tuệ linh hoạt khác trí tuệ kết tinh ra sao?
Trí tuệ kết tinh là kiến thức và kỹ năng đã tích luỹ; trí tuệ linh hoạt là khả năng giải vấn đề mới từ rất ít thông tin. Mô hình hiện nay mạnh hơn hẳn ở loại thứ nhất.
Độ dài công việc AI tự làm được hiện nay là bao lâu?
Con số thay đổi theo từng thế hệ mô hình và theo loại việc, nên trang này không nêu một con số cố định. Nên đọc các báo cáo đo đạc mới nhất và để ý họ đo trên loại việc gì, với ngưỡng thành công bao nhiêu.
Vì sao người làm an toàn AI quan tâm tới cách đo này?
Vì nhiều biện pháp an toàn được hẹn kích hoạt khi năng lực vượt một ngưỡng. Không đo được rõ thì không biết lúc nào cần siết, và cũng dễ bị bất ngờ.
