Cần một người duyệt trước khi AI hành động khi quyết định đó khó đảo ngược, ảnh hưởng lớn tới một con người cụ thể, hoặc thuộc loại tình huống mà hệ thống ít gặp. Còn những việc lặp lại, sai thì sửa dễ, thì để máy làm và người kiểm tra mẫu là đủ.
Nhưng đặt một người vào quy trình chưa phải là xong. Nhiều nơi có bước "người duyệt" mà người đó chỉ bấm đồng ý cả trăm lần một ngày, không đủ thời gian, không đủ thông tin, và cũng không thật sự dám nói không. Lúc đó con người trong vòng lặp chỉ còn là chữ ký, còn lỗi vẫn đi qua như thường. Bài này nói về cả hai câu hỏi: khi nào cần người, và làm sao để người đó có ích.
Những việc nên có người duyệt trước khi AI hành động
Từ chối một người. Từ chối hồ sơ vay, từ chối bồi thường bảo hiểm, loại hồ sơ xin việc. Người bị từ chối có quyền được một con người xem xét trường hợp của mình.
Chuyển tiền và cam kết tài chính. Thanh toán cho nhà cung cấp, hoàn tiền lớn cho khách, ký đơn đặt hàng. Tiền đã đi thì đòi lại rất khó.
Xoá dữ liệu. Xoá hồ sơ, xoá tài khoản, xoá bản sao lưu. Chuẩn bị danh sách thì để máy, bấm xoá thì để người.
Gửi văn bản ra ngoài nhân danh tổ chức. Thư trả lời khiếu nại, thông báo cho đối tác, văn bản có con dấu. Một câu sai giọng có thể thành chuyện lớn.
Tư vấn liên quan sức khoẻ. Gợi ý của hệ thống có thể giúp bác sĩ, dược sĩ làm nhanh hơn, nhưng quyết định chẩn đoán, kê đơn là của người có chuyên môn.
Thông tin pháp lý ràng buộc. Hợp đồng, điều khoản, câu trả lời về nghĩa vụ của khách. AI soạn nháp, người có thẩm quyền đọc và ký.
Tình huống hiếm gặp. Khi đầu vào khác xa những gì hệ thống thường thấy, ví dụ một loại giấy tờ lạ hay một yêu cầu bất thường, chuyển cho người là an toàn hơn.
Khi máy báo độ tin cậy thấp. Nếu hệ thống có điểm tin cậy và điểm đó dưới ngưỡng, đẩy sang người xử lý thay vì để máy đoán.
Khi có khiếu nại. Khách phản đối quyết định của máy thì phải có người xem lại, không để máy tự xem lại chính nó.
Thay đổi quyền truy cập. Cấp quyền mới cho nhân viên, mở tài khoản quản trị. Đây là đường mà sai một lần thì rủi ro kéo dài.
Đăng nội dung công khai. Bài đăng mạng xã hội, thông cáo, nội dung trang chủ. Lan ra rồi thì gỡ không hết.
Lần đầu chạy một quy trình mới. Mấy tuần đầu người duyệt mọi kết quả, rồi giảm dần khi đã đo được tỷ lệ sai thật.
Vì sao người duyệt hay thành người bấm cho có
Có một hiện tượng được tâm lý học nghiên cứu từ trước khi có AI ngôn ngữ, gọi là thiên kiến tự động hoá: khi một hệ thống tự động thường đúng, người ta dần tin nó hơn cả mắt mình. Người lái xe theo bản đồ số vẫn rẽ vào con hẻm cụt dù thấy rõ trước mặt không có đường. Người duyệt cũng vậy: hệ thống đúng chín mươi chín lần, tới lần thứ một trăm họ không còn đọc kỹ nữa.
Áp lực năng suất làm chuyện này nặng hơn. Một nhân viên được giao duyệt ba trăm hồ sơ mỗi ngày do máy chấm sẵn thì mỗi hồ sơ có chưa tới hai phút. Trong hai phút, họ chỉ đủ liếc kết luận của máy. Muốn nói không, họ phải viết lý do, phải giải trình với cấp trên vì sao làm chậm. Muốn nói có thì chỉ bấm một nút. Quy trình như vậy đang thưởng cho việc bấm đồng ý.
Rồi còn chuyện thông tin. Màn hình duyệt thường chỉ hiện kết luận: "Đề xuất từ chối, điểm rủi ro cao." Người duyệt không thấy máy dựa vào đâu, không thấy hồ sơ gốc, không thấy những trường hợp tương tự đã được xử lý ra sao. Không có thông tin thì không thể phản biện, và người duyệt chỉ còn cách tin.
Cuối cùng là chuyện trách nhiệm. Khi có sai sót, nếu tổ chức quy hết trách nhiệm cho người đã bấm duyệt, thì người duyệt trở thành "vùng đệm" hứng lỗi thay cho hệ thống. Họ không có quyền sửa hệ thống, không được chọn khối lượng việc, nhưng lại chịu phần lỗi. Thiết kế như vậy vừa không công bằng vừa không làm hệ thống an toàn hơn.
Thiết kế để người duyệt thật sự bắt được lỗi
Cho thấy lý do, không chỉ kết luận. Hiện những yếu tố chính dẫn tới đề xuất và đường dẫn tới hồ sơ gốc, để người duyệt kiểm được.
Ước lượng thời gian thật. Tính xem đọc kỹ một hồ sơ mất bao lâu rồi giao khối lượng theo đó, thay vì giao theo chỉ tiêu.
Làm cho việc nói không dễ như nói có. Từ chối đề xuất của máy chỉ cần chọn một lý do có sẵn, không bắt viết giải trình dài.
Chèn hồ sơ kiểm tra. Thỉnh thoảng đưa vào một hồ sơ đã biết đáp án, trong đó máy cố tình đề xuất sai, để đo xem người duyệt có còn tỉnh không. Kết quả dùng để điều chỉnh khối lượng việc, không dùng để phạt.
Đôi khi giấu kết luận của máy. Với một phần hồ sơ, cho người tự đánh giá trước rồi mới xem đề xuất. Cách này giảm việc bị kết luận của máy dẫn dắt.
Theo dõi tỷ lệ đồng ý. Người duyệt đồng ý gần như tuyệt đối với máy là dấu hiệu cần xem lại, có thể máy rất tốt, cũng có thể người đã thôi đọc.
Luân phiên công việc. Xen kẽ duyệt với việc khác để tránh mỏi mắt và mất tập trung sau nhiều giờ liền.
Ghi lại bất đồng. Mỗi lần người sửa quyết định của máy là một dữ liệu quý để cải thiện hệ thống. Thu lại và gửi cho nhóm kỹ thuật.
Đường báo lỗi ngắn. Người duyệt thấy máy sai theo một kiểu lặp lại phải có chỗ báo ngay, và được trả lời.
Rõ ràng về trách nhiệm. Viết ra ai chịu trách nhiệm phần nào: người duyệt, nhóm vận hành hệ thống, người quyết định đưa hệ thống vào dùng.
Đào tạo về điểm yếu của máy. Cho người duyệt xem những lỗi điển hình hệ thống từng mắc để họ biết nhìn vào đâu.
Dấu hiệu quy trình duyệt đang thành hình thức
Tỷ lệ đồng ý gần như tuyệt đối. Hàng tháng liền người duyệt không sửa một đề xuất nào của máy. Hoặc máy hoàn hảo, hoặc không ai đọc nữa; trường hợp thứ hai phổ biến hơn.
Thời gian duyệt mỗi hồ sơ rất ngắn. Vài giây mỗi hồ sơ là không đủ để mở hồ sơ gốc, chỉ đủ nhìn kết luận.
Duyệt hàng loạt. Giao diện cho phép chọn tất cả rồi bấm đồng ý một lần. Tính năng tiện lợi này thường là dấu chấm hết cho việc đọc từng hồ sơ.
Người duyệt không nêu được lý do. Hỏi vì sao hồ sơ này được duyệt, câu trả lời là "máy đề xuất vậy".
Không ai biết máy hay sai ở đâu. Người duyệt chưa từng được cho xem các lỗi điển hình của hệ thống.
Khiếu nại không quay về người duyệt. Khách phản đối được xử lý ở phòng khác, người duyệt không bao giờ biết quyết định của mình đã sai.
Từ chối đề xuất của máy bị coi là làm chậm. Chỉ tiêu tính theo số hồ sơ xong, không tính số lỗi bắt được.
Người duyệt thiếu chuyên môn. Giao cho nhân viên mới duyệt những quyết định cần kinh nghiệm nhiều năm, vì nghĩ máy đã làm phần khó.
Không có hồ sơ kiểm tra. Chưa bao giờ đo xem người duyệt có bắt được một đề xuất sai cố tình hay không.
Ca trực quá dài. Một người duyệt liên tục nhiều giờ không nghỉ, độ tập trung giảm dần mà không ai đo.
Máy được cập nhật mà người duyệt không biết. Hệ thống đổi phiên bản, kiểu lỗi đổi theo, nhưng người duyệt vẫn soi theo thói quen cũ.
Trong vòng lặp, trên vòng lặp, hay ngoài vòng lặp
Người ta hay chia ba mức. Trong vòng lặp: máy đề xuất, người quyết từng trường hợp. Trên vòng lặp: máy tự quyết, người theo dõi và can thiệp khi thấy bất thường. Ngoài vòng lặp: máy tự làm hoàn toàn, người chỉ xem báo cáo định kỳ. Không có mức nào đúng cho mọi việc.
Một quán cà phê ở Quy Nhơn dùng phần mềm tự đặt hàng sữa và cà phê khi tồn kho xuống thấp có thể để nó ngoài vòng lặp: sai thì thừa vài thùng sữa, tuần sau bớt lại. Một công ty tài chính dùng máy chấm điểm hồ sơ vay thì nên để người trong vòng lặp ít nhất với những hồ sơ bị từ chối. Một hệ thống lọc thư rác nằm ở giữa: máy tự quyết, nhưng người dùng xem được thư mục thư rác và kéo thư ra khi máy nhầm.
Có một cái bẫy khi các hệ thống ngày càng nhanh: việc chuyển dần từ trong vòng lặp sang trên vòng lặp diễn ra lặng lẽ, không ai quyết định chính thức. Ban đầu người duyệt từng hồ sơ, sau đó vì quá tải nên duyệt mẫu, rồi chỉ xem báo cáo tuần. Mỗi bước có lý do riêng, nhưng cộng lại thì quyền quyết định đã sang tay máy mà không ai bàn xem có nên hay không.
Với những hệ thống mạnh hơn trong tương lai, câu hỏi còn khó hơn: khi máy làm những việc mà người không đủ chuyên môn hay tốc độ để kiểm tra, con người trong vòng lặp còn ý nghĩa gì? Đây là lý do giới nghiên cứu tìm cách giúp người giám sát những hệ thống giỏi hơn mình, một chủ đề được bàn riêng trong bài về dùng AI giám sát AI.
Câu hỏi thường gặp
Human in the loop là gì?
Đó là cách thiết kế để một con người xem xét và quyết định trước khi kết quả của AI được dùng. Tiếng Việt thường gọi là con người trong vòng lặp. Nó khác với việc người chỉ theo dõi từ xa và can thiệp khi có chuyện.
Có người duyệt rồi thì AI sai có còn đáng lo không?
Vẫn đáng lo nếu người duyệt không đủ thời gian, thông tin hay quyền để phản đối. Khi đó lỗi vẫn đi qua, chỉ là có thêm chữ ký. Cần đo xem người duyệt có thật sự bắt được lỗi hay không.
Thiên kiến tự động hoá là gì?
Là xu hướng con người tin vào kết quả của hệ thống tự động hơn mức đáng tin, kể cả khi bằng chứng trước mắt cho thấy hệ thống sai. Nó tăng lên khi hệ thống thường đúng và khi người dùng bận.
Khi nào có thể để AI tự quyết hoàn toàn?
Khi sai sót dễ phát hiện, dễ sửa, hậu quả nhỏ, và đã đo được tỷ lệ sai trong thực tế ở mức chấp nhận được. Ví dụ phân loại thư nội bộ hay gợi ý sắp xếp lịch. Vẫn nên kiểm tra mẫu định kỳ.
AI sai mà người duyệt đã bấm đồng ý thì ai chịu trách nhiệm?
Về nguyên tắc chung, trách nhiệm không nên đổ hết cho người bấm nút. Tổ chức đưa hệ thống vào dùng và thiết kế quy trình duyệt cũng có phần. Từng trường hợp cụ thể cần hỏi người có chuyên môn pháp lý.
