Bản đồ nhiệt là lớp màu phủ lên ảnh, tô đậm những vùng mà kết quả của mô hình nhạy nhất. Nó rất có ích để bắt những lối tắt thô, như mô hình nhìn vào nền ảnh thay vì vào vật cần nhận diện. Nhưng nhiều phương pháp tạo bản đồ nhiệt cho ra hình đẹp mà lại ít phản ánh mô hình, nên chỉ nên coi nó là manh mối, kiểm bằng thí nghiệm rồi mới tin.
Thử hình dung một tình huống giả định. Một nhóm làm ứng dụng nhận diện bệnh phấn trắng trên lá dâu tây cho nông dân Đà Lạt. Điểm kiểm tra rất cao. Mở bản đồ nhiệt ra, nhóm thấy mô hình tô đậm phần nền trắng quanh lá. Truy ra thì ảnh lá bệnh phần lớn được chụp ở trạm kỹ thuật, đặt trên khay trắng; còn ảnh lá khoẻ thì chụp ngoài luống. Mô hình đã học "nền trắng thì bệnh".
Đó là kiểu chuyện bản đồ nhiệt làm rất tốt. Phần còn lại của bài nói về những lúc nó đánh lừa người xem, và cách phân biệt.
Bản đồ nhiệt được tạo ra như thế nào?
Cách đơn giản nhất là che từng ô. Lấy một miếng che màu xám, lần lượt đặt lên từng ô nhỏ của ảnh, mỗi lần ghi lại điểm số của mô hình cho nhãn "bệnh phấn trắng". Ô nào bị che mà điểm tụt mạnh thì ô đó quan trọng. Cách này dễ hiểu, nhưng chậm với ảnh lớn.
Cách nhanh hơn dùng đạo hàm: tính xem nếu thay đổi rất nhẹ từng điểm ảnh, điểm số đổi bao nhiêu. Vùng nào đổi nhiều thì sáng. Giống như sờ nhẹ từng chỗ trên lưng người bị đau để xem chỗ nào họ nhăn mặt. Nhiều phương pháp phổ biến là biến thể của ý này, có làm mượt, cộng dồn theo đường đi hay lấy thông tin từ các tầng giữa.
Dù cách nào, kết quả là một tấm ảnh màu: đỏ là quan trọng, xanh là không. Con người đọc ảnh rất nhanh, nên bản đồ nhiệt trở thành cách "giải thích" phổ biến nhất cho mô hình ảnh, xuất hiện trong báo cáo, bài báo và cả giao diện sản phẩm.
Cũng chính vì đọc nhanh nên nó dễ được tin quá mức. Mắt người thấy vùng đỏ nằm đúng trên vết bệnh thì gật gù ngay, ít ai hỏi tiếp vùng đỏ đó đến từ mô hình hay từ chính phương pháp vẽ.
Bản đồ nhiệt giúp được những gì?
Bắt lối tắt về nền. Thấy mô hình nhìn vào khay, bầu trời, nền tường thay vì vật cần nhận diện.
Bắt dấu vết thu thập. Mô hình bám vào dấu ngày giờ, viền ảnh, hình mờ của máy chụp.
Phát hiện nhãn sai. Ảnh có vùng sáng ở chỗ lạ đôi khi là ảnh bị gắn nhầm nhãn.
So hai mô hình. Hai mô hình cùng điểm số nhưng một cái nhìn đúng vết bệnh, một cái nhìn lung tung.
Gợi ý dữ liệu cần thêm. Thấy mô hình dựa vào nền thì biết phải chụp thêm lá bệnh ở ngoài luống.
Hỗ trợ người duyệt. Bác sĩ hay kỹ sư có thêm một gợi ý về chỗ cần nhìn kỹ, với điều kiện họ vẫn tự đánh giá.
Kiểm tính công bằng. Mô hình nhận diện khuôn mặt có dựa vào màu da hay kiểu tóc thay vì đặc điểm cần thiết.
Hiểu lỗi cụ thể. Một ca sai rõ ràng, bản đồ nhiệt có thể chỉ ra chi tiết đã đánh lừa mô hình.
Giao tiếp với người ngoài nghề. Cho chủ vườn thấy vì sao ứng dụng bảo lá này bệnh, dễ tạo trao đổi.
Gợi ý thí nghiệm tiếp theo. Vùng sáng là giả thuyết để che, đổi, kiểm lại.
Theo dõi sau cập nhật. So bản đồ trước và sau khi huấn luyện lại để xem mô hình có đổi cách nhìn.
Khi hình đẹp mà không nói gì về mô hình
Một kiểu kiểm tra nổi tiếng trong giới nghiên cứu: xáo trộn ngẫu nhiên trọng số của mô hình, biến nó thành một mô hình vô dụng, rồi vẽ lại bản đồ nhiệt. Nếu bản đồ gần như không đổi, phương pháp vẽ đang phản ánh cấu trúc của tấm ảnh, như các đường viền, nhiều hơn là phản ánh điều mô hình đã học. Một số phương pháp phổ biến đã không qua được phép kiểm này.
Vấn đề thứ hai là độ nhạy. Thêm một lớp nhiễu nhỏ không thấy bằng mắt vào ảnh, kết quả của mô hình không đổi, nhưng bản đồ nhiệt có thể đổi hẳn. Nếu lời giải thích dao động mạnh trong khi quyết định đứng yên, khó coi nó là lời giải thích cho quyết định đó.
Vấn đề thứ ba là có thể bị thao túng. Về nguyên tắc, người ta có thể huấn luyện mô hình sao cho bản đồ nhiệt trông vô hại trong khi mô hình vẫn dựa vào thứ không được phép. Điều này có nghĩa là bản đồ nhiệt không đủ làm bằng chứng khi có người có lợi ích trong việc nó trông đẹp.
Vấn đề cuối nằm ở người xem. Mình thường chờ vùng đỏ nằm ở chỗ "hợp lý", nên khi nó nằm đúng chỗ thì tin ngay, khi lệch thì cho là phương pháp lỗi. Cả hai phản ứng đều có thể sai.
Kiểm bản đồ nhiệt trước khi tin
Phép kiểm trực tiếp nhất là xoá theo thứ tự quan trọng. Che dần những vùng mà bản đồ nói quan trọng nhất, xem điểm số tụt nhanh tới đâu, rồi so với việc che những vùng ngẫu nhiên. Nếu che vùng đỏ mà điểm số tụt chẳng nhanh hơn che bừa, bản đồ không đáng tin.
Phép kiểm thứ hai là đổi nền. Quay lại ví dụ lá dâu: chụp cùng một lá bệnh trên khay trắng và ngoài luống. Nếu kết quả đổi theo nền, mô hình đang dựa vào nền, bất kể bản đồ nhiệt vẽ ra sao. Phép kiểm này không cần công cụ giải thích nào, chỉ cần dữ liệu được thiết kế khéo.
Phép kiểm thứ ba là so nhiều phương pháp. Nếu ba cách vẽ khác nhau cùng chỉ một vùng, đáng tin hơn một cách đơn lẻ. Nếu chúng chỉ ba nơi khác nhau, đó là tín hiệu nên dừng lại và làm thí nghiệm kỹ hơn.
Cuối cùng là kiểm với mô hình ngẫu nhiên như đã nói. Phép này rẻ, làm một lần cho mỗi phương pháp là biết phương pháp đó có thật sự nhìn vào mô hình hay không.
Dùng bản đồ nhiệt trong dự án thực tế ở Việt Nam
Nông nghiệp. Ứng dụng nhận diện sâu bệnh nên chụp dữ liệu ở cả vườn, trạm kỹ thuật và nhiều giờ trong ngày, rồi dùng bản đồ nhiệt để soát nền.
Kiểm lỗi sản phẩm trong nhà máy. Xem mô hình bắt vết nứt thật hay bắt bóng đèn phản chiếu trên băng chuyền.
Đọc giấy tờ. Kiểm mô hình nhận diện chữ ký hay con dấu có đang dựa vào khổ giấy, màu mực thay vì nét.
Y tế. Soát xem mô hình đọc phim có bám vào chữ đánh dấu trên phim hay loại máy chụp của từng cơ sở.
Giao thông. Mô hình đếm xe có nhận xe máy nhờ dáng xe hay nhờ người đội mũ bảo hiểm.
Thuỷ sản. Mô hình phân loại tôm cá có nhìn vào con vật hay vào màu thau, màu rổ đựng.
Thời tiết và ánh sáng. Ảnh mùa mưa, sương mù Đà Lạt hay nắng gắt miền Trung có làm mô hình đổi chỗ nhìn.
Ghi lại khi bàn giao. Lưu vài bản đồ nhiệt tiêu biểu cùng các phép kiểm vào hồ sơ dự án để người sau đối chiếu.
Đừng hứa với khách. Không quảng cáo bản đồ nhiệt là "AI giải thích được", chỉ nói đó là công cụ hỗ trợ kiểm tra.
Huấn luyện người dùng. Nhân viên đọc kết quả cần được dặn rằng vùng đỏ là gợi ý, không phải kết luận.
Làm lại sau mỗi lần cập nhật. Mô hình huấn luyện lại có thể đổi cách nhìn, phép soát phải chạy lại.
Câu hỏi thường gặp
Bản đồ nhiệt có dùng cho mô hình ngôn ngữ được không?
Có. Thay vì tô vùng ảnh, người ta tô từng chữ trong câu theo mức ảnh hưởng tới kết quả. Các vấn đề về độ tin cậy cũng tương tự, và với văn bản dài còn khó đọc hơn.
Bác sĩ có nên dựa vào bản đồ nhiệt của phần mềm đọc phim không?
Nên coi đó là gợi ý chỗ cần nhìn kỹ, không phải chẩn đoán. Quyết định cuối cùng vẫn là của bác sĩ dựa trên toàn bộ thông tin lâm sàng, và nếu bản đồ chỉ vào chỗ không hợp lý thì nên nghi ngờ cả kết quả.
Bản đồ nhiệt đỏ đúng chỗ có nghĩa mô hình đúng không?
Không chắc. Mô hình có thể nhìn đúng chỗ mà vẫn dựa vào thêm những dấu hiệu khác, hoặc phương pháp vẽ có thể tô đúng chỗ vì cấu trúc ảnh chứ không vì mô hình.
Doanh nghiệp làm AI nhận diện ảnh nên dùng bản đồ nhiệt thế nào?
Dùng trong giai đoạn phát triển để rà dữ liệu và bắt lối tắt, kèm các phép kiểm như đổi nền, che vùng. Khi đưa lên sản phẩm cho khách xem, nên ghi rõ đây là gợi ý trực quan, không phải bằng chứng.
Có công cụ nào thay được bản đồ nhiệt không?
Không thay hẳn, nhưng có thể bổ sung: kiểm thử với dữ liệu được thiết kế khác nền, khác điều kiện chụp; dùng đầu dò; hoặc chọn mô hình dựa trên các bộ phận dễ hiểu hơn cho những việc cần giải thích kỹ.
