Mô hình AI bị gọi là "hộp đen" không phải vì công ty nào giấu nó đi. Gốc của chữ này nằm ở chỗ: cách mô hình ra quyết định không được ai viết thành luật, mà nằm rải trong hàng triệu tới hàng tỉ con số do quá trình huấn luyện tự chỉnh. Mình có thể mở ra xem hết từng con số, nhưng nhìn vào chúng thì không đọc ra được "vì sao".
Hình dung một bà bán cá lâu năm ở chợ Đông Ba. Bà liếc qua là biết con nào tươi, con nào đã ướp đá hai ngày. Hỏi bà dựa vào đâu, bà nói "nhìn mắt cá". Thật ra bà dùng cả chục dấu hiệu cùng lúc, màu mang, độ căng của da, mùi, cách con cá nằm trên mẹt, nhưng bà không kể ra được hết. Kinh nghiệm của bà đúng, chỉ là nó không nằm ở dạng câu chữ. Mô hình AI cũng vậy, có điều nó không có cả câu "nhìn mắt cá" để kể.
Bài này giải thích vì sao chuyện đó xảy ra, vì sao nó quan trọng với an toàn AI chứ không chỉ là chuyện tò mò, và người ta đang hé nắp hộp bằng những cách nào.
Hộp đen không có nghĩa là bị giấu đi
Chữ "hộp đen" hay bị hiểu lẫn với chữ "đóng". Có những mô hình được công bố toàn bộ trọng số, tức là ai cũng tải về được từng con số bên trong. Vậy mà chúng vẫn là hộp đen. Có số trong tay không đồng nghĩa với hiểu.
So với một phần mềm tính lương truyền thống thì thấy rõ. Ở đó, lập trình viên viết từng dòng: đi trễ quá số lần quy định thì trừ chuyên cần, làm thêm ngày lễ thì nhân hệ số. Lương ra sai thì mở mã nguồn, tìm đúng dòng, sửa. Mỗi quyết định có một địa chỉ.
Mô hình học máy thì khác. Không ai viết dòng nào nói "đơn hàng này có dấu hiệu gian lận vì địa chỉ giao lạ". Người ta cho mô hình xem rất nhiều đơn hàng cũ đã gắn nhãn đúng sai, và để nó tự chỉnh các con số bên trong cho tới khi đoán đúng nhiều nhất. Kiến thức về gian lận có trong mô hình, nhưng nó không nằm ở một chỗ nào cụ thể.
Nên khi nói "hộp đen", người làm nghề muốn nói: mình thấy được đầu vào, thấy được đầu ra, thấy được cả ruột gan dưới dạng số, mà vẫn không có một câu chuyện đáng tin về việc từ đầu vào đi tới đầu ra bằng con đường nào.
Từ luật viết tay tới con số tự chỉnh
Hãy tưởng tượng một bàn trộn âm thanh trong phòng thu ở Huế, nhưng thay vì vài chục núm vặn thì có hàng triệu núm. Mỗi lần mô hình đoán sai một ví dụ, quá trình huấn luyện tính xem mỗi núm nên vặn một chút về phía nào để lần sau bớt sai, rồi vặn tất cả cùng lúc. Lặp lại việc đó qua vô số ví dụ, bàn trộn dần dần cho ra "âm thanh" đúng.
Điểm mấu chốt là không ai quyết định núm nào phụ trách việc gì. Một núm có thể góp phần nhỏ vào việc nhận ra chữ viết tay, vào việc phân biệt giọng Huế với giọng Quảng, và vào chục việc khác nữa. Ý nghĩa của nó chỉ hiện ra khi kết hợp với rất nhiều núm khác, theo những cách thay đổi tuỳ từng đầu vào.
Các con số này được xếp thành nhiều tầng. Tầng đầu nhận dữ liệu thô, tầng sau nhận kết quả của tầng trước, cứ thế chồng lên. Giữa các tầng có những phép biến đổi không thẳng, nên tác động của một con số không cộng dồn đơn giản mà đan cài với nhau. Đó là lý do mạng nhiều tầng làm được việc khó, và cũng là lý do nó khó đọc.
Quá trình huấn luyện cũng không để lại nhật ký kiểu "đã học được rằng mắt cá đục là dấu hiệu cá cũ". Nó chỉ để lại trạng thái cuối cùng của các núm vặn. Muốn biết mô hình đã học gì, phải làm công việc ngược lại: từ các núm, suy ra quy tắc. Đó chính là nghề diễn giải mô hình.
Vì sao đọc một mô hình khó hơn đọc mã nguồn?
Kiến thức phân tán. Một khái niệm như "con mèo" không nằm ở một con số mà trải trên rất nhiều con số cùng lúc.
Một thành phần, nhiều nghĩa. Cùng một nơ-ron nhân tạo có thể bật lên với cả mặt mèo, mũi xe ô tô và một kiểu chữ nào đó, nên gán cho nó một cái tên là sai.
Quan hệ không thẳng. Tăng một con số không làm kết quả tăng đều; tác động của nó phụ thuộc vào hàng nghìn con số khác đang ở trạng thái nào.
Quy mô quá lớn. Kể cả khi đọc được từng phần nhỏ, ghép hàng triệu phần nhỏ lại thành bức tranh chung vẫn vượt sức người.
Không có từ vựng chung. Mô hình có thể dùng những khái niệm mà tiếng người chưa có chữ gọi, nên việc dịch ra lời luôn có mất mát.
Năng lực nổi lên theo quy mô. Có những khả năng chỉ xuất hiện khi mô hình đủ lớn, nghiên cứu trên mô hình nhỏ không chắc áp dụng được.
Hành vi đổi theo ngữ cảnh. Cùng một câu hỏi, đặt sau một đoạn văn khác thì mô hình có thể đi đường khác bên trong.
Huấn luyện không ghi lý do. Chỉ có trạng thái cuối, không có nhật ký vì sao mỗi con số thành ra như vậy.
Dữ liệu khổng lồ. Mô hình học từ lượng dữ liệu không ai đọc hết, nên khó đoán nó đã bắt được quy luật nào.
Đúng vì lý do sai. Mô hình có thể đạt điểm cao nhờ một lối tắt trong dữ liệu, và đầu ra đúng che mất điều đó.
Kiểm thử chỉ thấy cái được thử. Bộ bài kiểm tra phủ được những tình huống người ta nghĩ ra, không phủ được những tình huống chưa ai nghĩ tới.
Mô hình thay đổi sau mỗi lần cập nhật. Hiểu bản cũ không có nghĩa là hiểu bản mới, công đọc phải làm lại một phần.
Hộp đen là chuyện an toàn, không chỉ chuyện tò mò
Người dùng bình thường có thể hỏi: miễn kết quả đúng thì cần gì biết bên trong? Câu trả lời nằm ở chữ "lối tắt". Một ví dụ được bàn nhiều trong giới nghiên cứu: mô hình chẩn đoán qua ảnh chụp đạt điểm cao, nhưng hoá ra nó dựa một phần vào dấu hiệu của loại máy chụp hay cách đặt bệnh nhân, vì ảnh từ khoa chuyên sâu có nhiều ca nặng hơn. Đem sang bệnh viện khác, điểm tụt mà không ai hiểu vì sao.
Giống như kiểm tra một chiếc xe máy cũ bằng cách chạy thử mười vòng quanh sân. Xe chạy êm, không có nghĩa là má phanh còn dày. Có những lỗi chỉ lộ ra khi đổ dốc Prenn ở Đà Lạt lúc trời mưa, mà sân thử thì không có con dốc đó. Kiểm thử đầu ra là chạy thử trên sân; diễn giải là mở yên xe ra xem phanh.
Khi hệ thống AI được giao việc quan trọng hơn, câu hỏi khó hơn xuất hiện: làm sao biết một mô hình không có hành vi ẩn, chỉ bật lên trong điều kiện hiếm? Nếu chỉ nhìn đầu ra, mình chỉ dám nói "trong những gì đã thử, chưa thấy". Muốn nói mạnh hơn thế, phải hiểu được phần nào cơ chế bên trong.
Với những hệ thống mạnh hơn nữa, như trí tuệ tổng quát hay siêu trí tuệ mà nhiều người đang bàn, điều này càng quan trọng. Chưa ai biết những hệ thống đó có xuất hiện hay không và bao giờ. Nhưng nếu xuất hiện, một hệ thống giỏi hơn người ở hầu hết việc trí óc mà mình chỉ đánh giá được qua đầu ra thì rất khó biết nó đang thực sự theo đuổi điều gì.
Người ta đang hé nắp hộp bằng cách nào?
Kiểm thử hành vi có hệ thống. Đổi từng chi tiết của đầu vào rồi xem đầu ra đổi ra sao, như đổi tên người trong hồ sơ để xem quyết định có thay đổi không.
Thử đối kháng. Một nhóm cố tình tìm đầu vào làm mô hình sai, để lộ những điểm yếu mà bài kiểm tra thường bỏ sót.
Bản đồ nhiệt. Tô màu những phần của ảnh hay câu chữ mà kết quả nhạy nhất, cho biết mô hình "nhìn" vào đâu.
Đầu dò. Huấn luyện một bộ đọc nhỏ để kiểm xem một thông tin nào đó có nằm trong các con số trung gian hay không.
Tắt bớt thành phần. Vô hiệu một phần bên trong rồi xem năng lực nào mất đi, như rút từng cầu chì để biết cầu chì nào cấp điện cho phòng nào.
Tìm mạch. Lần theo đường đi của thông tin qua các tầng để tìm một nhóm thành phần cùng làm một việc cụ thể.
Từ điển đặc trưng. Dùng thuật toán phụ để tách các con số rối thành nhiều "đặc trưng" rõ nghĩa hơn, mỗi đặc trưng ứng với một khái niệm.
So sánh trước và sau huấn luyện thêm. Xem phần nào bên trong thay đổi khi mô hình được dạy thêm một hành vi mới.
Học trên mô hình nhỏ. Nghiên cứu những mô hình đồ chơi đủ nhỏ để đọc hết, rồi kiểm xem bài học có đúng với mô hình lớn.
Giám sát khi đang chạy. Theo dõi một số tín hiệu bên trong trong lúc mô hình phục vụ người dùng, báo động khi thấy điều bất thường.
Hỏi chính mô hình, nhưng có kiểm chứng. Lời tự giải thích của mô hình là một manh mối, không phải bằng chứng, và phải đối chiếu với cách khác.
Ghi chép dữ liệu huấn luyện. Biết mô hình học từ đâu giúp đoán nó có thể đã nhặt những lối tắt nào.
Câu hỏi thường gặp
Mô hình mã nguồn mở có còn là hộp đen không?
Vẫn là hộp đen. Công bố trọng số giúp người ngoài có thể nghiên cứu bên trong, nhưng con số vẫn là con số. Mở giúp nhiều người cùng soi hơn, không làm việc soi dễ hơn.
Hỏi chatbot vì sao nó trả lời như vậy có được không?
Hỏi được và đôi khi hữu ích, nhưng lời giải thích đó cũng là văn bản do mô hình sinh ra. Nó có thể nghe hợp lý mà không khớp với những gì thực sự diễn ra bên trong, nên chỉ coi là gợi ý.
Có loại mô hình nào không phải hộp đen không?
Có. Cây quyết định nhỏ, mô hình hồi quy với ít biến hay bộ luật viết tay là những loại đọc được. Đổi lại, chúng thường kém hơn ở những việc phức tạp như hiểu ngôn ngữ hay nhận diện ảnh.
Hộp đen có nghĩa là AI nguy hiểm không?
Không trực tiếp. Hộp đen nghĩa là khó kiểm tra, nên rủi ro khó lường hơn. Một hệ thống làm việc nhỏ, có người duyệt lại, thì hộp đen ít đáng lo; một hệ thống tự quyết việc lớn thì đáng lo hơn nhiều.
Bao giờ người ta đọc được toàn bộ một mô hình lớn?
Chưa ai biết. Nghiên cứu diễn giải đã đọc được một số mảnh, nhưng khoảng cách giữa các mảnh đó và việc hiểu trọn một mô hình lớn vẫn còn rất xa. Ai hứa mốc thời gian cụ thể là đang đoán.
