Mở một mạng nơ-ron ra, người ta hay thấy một nơ-ron nhân tạo bật mạnh với cả mặt mèo, bánh xe ô tô lẫn một kiểu chữ nghiêng. Hiện tượng này gọi là nơ-ron đa nghĩa. Giả thuyết được nhiều nhà nghiên cứu dùng để giải thích nó là chồng chất: mô hình cần chứa nhiều khái niệm hơn số nơ-ron nó có, nên xếp các khái niệm theo những hướng đan chéo nhau, chấp nhận một chút nhiễu.
Hình dung bãi giữ xe của một trường cấp ba ở Huế. Chỗ để xe chỉ đủ cho nửa số học sinh, nhưng trường học hai ca, sáng một nhóm, chiều một nhóm, nên cùng một chỗ đứng được dùng cho hai chiếc xe khác nhau. Nhìn vào một ô đậu xe mà hỏi "đây là chỗ của ai" thì không có câu trả lời gọn. Phải biết lúc đó là buổi nào.
Hiểu chồng chất là hiểu vì sao nghề nhìn vào bên trong mô hình khó, và vì sao những công cụ mới như từ điển đặc trưng thưa lại được chú ý.
Nơ-ron nhân tạo là gì, và "đa nghĩa" nghĩa là sao?
Nơ-ron nhân tạo không giống tế bào thần kinh thật nhiều như cái tên gợi ra. Nó chỉ là một con số được tính từ các con số ở tầng trước: nhân mỗi số với một trọng số, cộng lại, rồi qua một phép biến đổi đơn giản. Khi con số đó lớn, người ta nói nơ-ron "bật".
Những năm đầu, nhiều người hy vọng mỗi nơ-ron sẽ ứng với một khái niệm rõ ràng: nơ-ron này cho đường cong, nơ-ron kia cho mắt người. Thực tế có những nơ-ron như vậy, nhất là ở các tầng đầu của mô hình nhận diện ảnh. Nhưng càng vào sâu, càng nhiều nơ-ron bật với những thứ chẳng dính dáng gì nhau.
Đó là đa nghĩa. Một nơ-ron đa nghĩa không phải là nơ-ron "lỗi". Nó vẫn góp phần cho mô hình chạy đúng. Chỉ là nếu gán cho nó một cái tên như "nơ-ron mèo", mình sẽ hiểu sai mỗi khi nó bật vì bánh xe.
Với người làm diễn giải, đây là trở ngại lớn. Nếu mỗi nơ-ron có một nghĩa, việc đọc mô hình chỉ còn là đặt tên cho từng nơ-ron. Khi nơ-ron đa nghĩa là chuyện thường, đơn vị để đọc không còn là nơ-ron nữa, phải tìm đơn vị khác.
Chồng chất: nhét nhiều khái niệm vào ít chỗ
Cách nghĩ hữu ích là coi trạng thái bên trong của một tầng như một điểm trong không gian nhiều chiều, mỗi nơ-ron là một trục. Một khái niệm không nhất thiết nằm dọc một trục, nó có thể là một hướng xiên đi qua nhiều trục cùng lúc.
Trong không gian hai hay ba chiều, số hướng vuông góc hẳn với nhau chỉ có hai hay ba. Nhưng khi số chiều lên tới hàng nghìn, có thể xếp rất nhiều hướng gần như vuông góc, mỗi cặp chỉ lệch nhau một chút. Mô hình có thể tận dụng điều này để chứa nhiều khái niệm hơn số nơ-ron.
Cái giá phải trả là nhiễu: khi hai khái niệm có hướng gần nhau cùng xuất hiện, chúng lẫn vào nhau một ít. Mô hình chấp nhận được cái giá đó nhờ tính thưa. Phần lớn khái niệm hiếm khi xuất hiện cùng lúc: một đoạn văn về phở bò Nam Định ít khi đồng thời bàn về thuế thu nhập và cấu trúc protein. Cũng như bãi xe hai ca, chỗ chung chỉ gây rắc rối khi cả hai chiếc xe cùng tới.
Giả thuyết này đã được kiểm khá kỹ trên các mô hình đồ chơi nhỏ, nơi người ta chủ động cho số khái niệm lớn hơn số chiều và quan sát mô hình tự xếp chúng thành hướng đan chéo. Với các mô hình lớn thật, nó là cách giải thích được nhiều người dùng và khớp với nhiều quan sát, nhưng chưa phải là bức tranh trọn vẹn đã được chứng minh.
Chồng chất gây khó gì cho người nghiên cứu?
Không đọc từng nơ-ron được. Gán nghĩa cho nơ-ron đơn lẻ dễ cho ra những cái tên sai, vì nghĩa thật nằm ở hướng chứ không ở trục.
Không biết có bao nhiêu khái niệm. Số khái niệm có thể lớn hơn số nơ-ron nhiều lần, và không có con số nào ghi sẵn.
Hướng không được đánh dấu. Mô hình không để lại nhãn cho các hướng nó dùng, phải tự đi tìm.
Cắt bỏ nơ-ron gây tác dụng phụ. Tắt một nơ-ron để diệt một hành vi có thể làm hỏng luôn vài khái niệm khác đang dùng chung.
Bản đồ nhiệt dễ gây hiểu lầm. Một vùng bật mạnh có thể là do khái niệm khác chen vào chứ không phải khái niệm mình đang tìm.
Nhiễu lẫn chéo khó thấy. Hai khái niệm hiếm khi cùng xuất hiện, nên khi chúng lẫn nhau thì đó thường là ca hiếm, dễ lọt qua kiểm thử.
Mô hình càng nén càng rối. Cùng một nhiệm vụ, mô hình nhỏ thường phải nhồi khái niệm chặt hơn mô hình lớn.
Ranh giới khái niệm mờ. Hướng "món ăn" và hướng "món ăn miền Trung" có thể chồng một phần, khó nói đâu là một hay hai khái niệm.
Mỗi tầng một cách xếp. Hướng tìm được ở tầng này không dùng lại được ở tầng khác.
Không có lời giải duy nhất. Cùng một trạng thái có thể tách thành nhiều bộ hướng khác nhau, bộ nào cũng giải thích được phần nào.
Tốn tính toán. Tìm hướng trong không gian hàng nghìn chiều cho hàng triệu ví dụ là một việc nặng.
Dễ tự lừa. Gặp vài ví dụ khớp với cái tên mình đặt thì dễ tin là đúng, trong khi phần lớn ví dụ chưa được xem.
Từ điển đặc trưng thưa: một cách gỡ rối
Nếu khái niệm nằm theo hướng chứ không theo nơ-ron, thì việc cần làm là tìm các hướng đó. Một cách đang được dùng nhiều là huấn luyện thêm một mô hình phụ, hay gọi là bộ mã hoá tự động thưa. Nó học cách viết lại trạng thái của một tầng thành tổ hợp của rất nhiều đặc trưng, nhiều hơn số nơ-ron gốc, với điều kiện mỗi lúc chỉ vài đặc trưng được bật.
Điều kiện "mỗi lúc chỉ vài cái" chính là tận dụng tính thưa ở trên. Kết quả, nếu thành công, là một cuốn từ điển: mỗi mục ứng với một hướng, và nhiều mục có nghĩa khá rõ khi người ta xem những đoạn văn làm nó bật. Một mục có thể bật với những câu mang giọng mỉa mai, một mục khác với những đoạn nói về món ăn đường phố, đó là kiểu ví dụ người ta hay gặp.
Từ điển này cũng có giới hạn. Số mục phải chọn trước, chọn ít thì khái niệm bị gộp, chọn nhiều thì một khái niệm bị chẻ nhỏ. Có những mục khó gán nghĩa. Và cuốn từ điển không viết lại được trạng thái gốc một cách hoàn hảo, luôn còn một phần dư chưa giải thích, phần dư đó có thể chứa thứ quan trọng.
Dù vậy, đây là bước tiến đáng kể so với việc đọc từng nơ-ron. Nó biến câu hỏi "nơ-ron này làm gì" thành câu hỏi dễ trả lời hơn "đặc trưng này làm gì", và mở đường cho việc kiểm tra bằng can thiệp: bật mạnh hay tắt một đặc trưng rồi xem hành vi đổi ra sao.
Những hiểu lầm hay gặp khi đọc về nơ-ron nhân tạo
"Mỗi nơ-ron là một ý nghĩ." Nơ-ron chỉ là một con số trung gian, và thường mang mảnh của nhiều khái niệm cùng lúc.
"Tìm ra nơ-ron mèo là hiểu mô hình." Một nơ-ron rõ nghĩa là một mảnh nhỏ, không nói gì về hàng nghìn nơ-ron đa nghĩa xung quanh.
"Đa nghĩa là mô hình kém." Đa nghĩa thường là cách mô hình tiết kiệm chỗ, nó vẫn có thể làm việc rất tốt.
"Mô hình lớn thì mọi thứ gọn gàng hơn." Mô hình lớn có nhiều chỗ hơn nhưng cũng học nhiều khái niệm hơn, rối không giảm theo cách đơn giản.
"Chồng chất đã được chứng minh trên mọi mô hình." Bằng chứng mạnh nhất đến từ mô hình đồ chơi; với mô hình lớn, đó là giả thuyết khớp nhiều quan sát.
"Từ điển thưa cho ra nghĩa thật." Mỗi mục cần được kiểm bằng can thiệp, có mục đẹp trên ví dụ mà không thật sự được dùng.
"Một khái niệm có đúng một hướng." Có khái niệm trải trên vài hướng, có hướng mang hai khái niệm gần nhau.
"Tắt nơ-ron xấu là xong." Tắt một nơ-ron có thể kéo theo hỏng những khái niệm vô can đang dùng chung chỗ.
"Cái tên do người đặt là cái mô hình nghĩ." Tên chỉ là nhãn người nghiên cứu dán vào cho dễ nhớ, có thể chỉ đúng một phần.
"Đọc được tầng cuối là đủ." Nhiều việc quan trọng diễn ra ở các tầng giữa, tầng cuối chỉ thấy kết quả.
"Hiện tượng này chỉ có ở mô hình ngôn ngữ." Đa nghĩa và chồng chất được quan sát ở cả mô hình ảnh và những loại mạng khác.
Câu hỏi thường gặp
Não người có hiện tượng giống chồng chất không?
Trong khoa học thần kinh cũng có quan sát về những tế bào phản ứng với nhiều loại kích thích khác nhau. Nhưng mạng nơ-ron nhân tạo và não khác nhau rất nhiều, nên không nên suy thẳng từ bên này sang bên kia.
Có cách huấn luyện để mô hình không bị chồng chất không?
Có những thử nghiệm ép mô hình dùng nơ-ron rõ nghĩa hơn, nhưng thường phải trả giá bằng hiệu năng hoặc kích thước. Chưa có cách nào loại bỏ hẳn chồng chất mà giữ nguyên sức mạnh của mô hình.
Mô hình to hơn thì bớt chồng chất không?
Có thể bớt cho cùng một lượng khái niệm, vì có nhiều chỗ hơn. Nhưng mô hình to thường cũng học nhiều khái niệm hơn, nên tổng thể vẫn có chồng chất.
Đặc trưng trong từ điển thưa có chắc là thứ mô hình thật sự dùng?
Không tự động chắc. Cần kiểm bằng can thiệp: thay đổi đặc trưng đó trong lúc mô hình chạy rồi xem hành vi có đổi đúng như dự đoán. Đặc trưng qua được bước này mới đáng tin hơn.
Người mới nên bắt đầu tìm hiểu chồng chất từ đâu?
Bắt đầu bằng đại số tuyến tính, nhất là khái niệm vectơ, hướng và tích vô hướng. Sau đó tự huấn luyện một mạng rất nhỏ với số đặc trưng nhiều hơn số chiều, vẽ ra các hướng nó học được.
