Trước khi cho một chatbot AI tiếp khách, doanh nghiệp nên tự kiểm theo sáu nhóm: trả lời đúng thông tin của công ty, biết nói "không biết" khi ngoài phạm vi, chuyển sang người thật đúng lúc, không làm lộ dữ liệu, không hứa những điều công ty không cam kết, và giữ đúng giọng. Sau đó ra mắt từng bước, có người theo dõi, chứ không bật cho toàn bộ khách trong một ngày.
Lý do rất thực tế. Một câu trả lời sai của nhân viên là lỗi của một người trong một cuộc gọi. Một câu trả lời sai của chatbot có thể lặp lại với hàng trăm khách trước khi ai đó phát hiện, và khách thường chụp màn hình lại. Kiểm thử trước tốn vài ngày công; sửa uy tín sau tốn hơn nhiều.
Sáu nhóm kiểm tra không được bỏ
Đúng thông tin công ty. Giờ mở cửa, chính sách đổi trả, phí giao hàng, bảo hành; so từng câu trả lời với tài liệu gốc do phòng ban phụ trách xác nhận.
Không bịa khi không biết. Hỏi những điều tài liệu không có; câu trả lời đúng là nói chưa có thông tin và chỉ chỗ hỏi, không phải đoán.
Ngoài phạm vi. Khách hỏi chuyện không liên quan, hỏi tư vấn sức khoẻ, pháp lý; chatbot nên lịch sự từ chối và hướng sang nơi phù hợp.
Chuyển người thật đúng lúc. Khách bực, khách khiếu nại, khách hỏi lần thứ ba vẫn chưa được giải quyết; phải có đường chuyển sang nhân viên rõ ràng.
Không làm lộ dữ liệu. Thử hỏi thông tin đơn hàng của người khác, hỏi số điện thoại khách khác; chatbot phải xác minh danh tính hoặc từ chối.
Không hứa thay công ty. Thử nài giảm giá, đòi bồi thường, xin cam kết giao hàng trong ngày; chatbot không được đưa ra lời hứa mà công ty không có.
Không bị dắt mũi. Khách cố thuyết phục chatbot rằng chính sách đã đổi, hoặc rằng mình là quản lý; chatbot phải giữ đúng tài liệu.
Đúng giọng thương hiệu. Xưng hô, độ dài, mức trang trọng phù hợp; một tiệm bánh khác một văn phòng luật.
Tiếng Việt đời thường. Tin nhắn không dấu, viết tắt, giọng địa phương, lẫn tiếng Anh; khách thật nhắn như vậy chứ không viết như văn bản.
Tình huống nhạy cảm. Khách đang hoảng vì bị lừa chuyển tiền, khách báo tai nạn; chatbot phải ưu tiên an toàn và chuyển người ngay.
Nội dung không phù hợp. Khách chửi bới, gửi nội dung xúc phạm; chatbot không đáp trả theo, không lặp lại lời xúc phạm.
Ổn định qua nhiều lần hỏi. Hỏi cùng một câu nhiều lần, ở nhiều thời điểm; câu trả lời phải nhất quán về nội dung.
Ai nên kiểm thử và kiểm trong bao lâu?
Người kiểm tốt nhất là nhân viên chăm sóc khách hàng đang làm việc hằng ngày. Họ biết khách hỏi gì, hỏi kiểu gì, câu nào hay gây hiểu lầm. Một buổi họ ngồi thử, mỗi người đóng vai một kiểu khách quen thuộc, thường tìm ra nhiều lỗi hơn cả tuần kỹ sư tự thử.
Cần thêm người phụ trách nghiệp vụ, người nắm chính sách giá, đổi trả, bảo hành, để xác nhận câu trả lời nào đúng. Nhiều lỗi của chatbot không nằm ở mô hình mà ở tài liệu đưa cho nó: tài liệu cũ, tài liệu mâu thuẫn nhau giữa hai phòng. Kiểm thử chatbot là dịp hiếm hoi doanh nghiệp buộc phải dọn lại tài liệu nội bộ.
Nên có một người ngoài nhóm dự án, chẳng hạn một nhân viên phòng khác hoặc người thân của nhân viên, thử như khách hoàn toàn lạ. Người trong dự án đã quen với cách chatbot trả lời, vô thức hỏi theo cách nó trả lời tốt.
Về thời gian, với một chatbot hỏi đáp chính sách cơ bản, vài ngày thử có tổ chức là mức hợp lý trước khi cho một nhóm khách nhỏ dùng. Nếu chatbot được tra đơn hàng, đổi lịch, hoặc làm bất cứ việc gì thay đổi dữ liệu thật, cần thời gian dài hơn và phải thử trên dữ liệu giả.
Dùng AI chấm AI: tiết kiệm được gì, phải cẩn thận ở đâu
Khi bộ câu hỏi lên tới vài trăm và phải chạy lại sau mỗi lần sửa, chấm tay hết là không kham nổi. Nhiều đội dùng một mô hình khác làm người chấm: đưa cho nó câu hỏi, câu trả lời của chatbot, đáp án mẫu và tiêu chí, nhờ nó chấm điểm và giải thích.
Cách này nhanh và nhất quán, nhưng máy chấm có thiên lệch riêng. Nó hay ưa câu trả lời dài, lịch sự, nhiều ý, kể cả khi câu đó sai một chi tiết quan trọng như số ngày đổi trả. Nó cũng có thể chấm dễ với câu trả lời giống văn phong của chính nó.
Vì vậy máy chấm cần được kiểm. Lấy ngẫu nhiên một phần câu trả lời, để người chấm độc lập, rồi so với điểm của máy. Nếu hai bên lệch nhiều ở một loại câu, ví dụ câu về giá, thì loại câu đó phải để người chấm.
Một mẹo đơn giản giúp máy chấm chính xác hơn: tách tiêu chí ra từng câu hỏi có hoặc không. Thay vì hỏi "câu trả lời này tốt không", hỏi "câu trả lời có nêu đúng thời hạn đổi trả không", "có hứa điều gì ngoài chính sách không". Câu hỏi càng cụ thể, máy chấm càng ít đoán.
Ra mắt từng bước và theo dõi sau ra mắt
Thử nội bộ trước. Cho toàn bộ nhân viên dùng như khách trong một thời gian ngắn, gom lỗi.
Mở cho một nhóm khách nhỏ. Một phần khách, một kênh, hoặc một khung giờ; dễ khoanh vùng khi có sự cố.
Nói rõ khách đang trò chuyện với trợ lý ảo. Khách biết mình nói chuyện với máy sẽ kiểm lại thông tin quan trọng và ít bực hơn khi máy không hiểu.
Luôn có nút gặp nhân viên. Không bắt khách đi qua nhiều vòng hỏi mới được gặp người.
Đọc mẫu hội thoại hằng ngày. Trong những tuần đầu, mỗi ngày có người đọc một số cuộc trò chuyện ngẫu nhiên, không chỉ đọc những cuộc bị khiếu nại.
Theo dõi các câu chatbot không trả lời được. Đây là nguồn bổ sung tài liệu tốt nhất, cho thấy khách cần biết điều gì mà công ty chưa viết ra.
Đặt cảnh báo cho từ khoá nhạy cảm. Bị lừa, mất tiền, tai nạn, kiện; gặp là báo người trực ngay.
Có nút tắt nhanh. Khi phát hiện chatbot trả lời sai hàng loạt, phải tắt được trong vài phút và chuyển toàn bộ sang nhân viên.
Chạy lại bộ kiểm sau mỗi thay đổi. Sửa tài liệu, đổi câu dẫn, nhà cung cấp cập nhật mô hình; mỗi lần đều chạy lại toàn bộ bộ câu hỏi.
Lưu nhật ký có giới hạn. Đủ để điều tra sự cố, có thời hạn xoá, che dữ liệu cá nhân, giới hạn người được xem.
Đo đúng thứ cần đo. Không chỉ đếm số cuộc trò chuyện chatbot tự xử lý, mà đếm cả số khách phải hỏi lại, số khiếu nại liên quan tới câu trả lời của chatbot.
Lấy câu hỏi kiểm thử từ đâu cho sát thực tế
Lịch sử tin nhắn trên trang bán hàng. Gom tin nhắn vài tháng gần nhất, xoá tên, số điện thoại, địa chỉ trước khi đưa vào bộ kiểm.
Ghi chú của tổng đài viên. Những câu khách hỏi nhiều nhất và những câu khiến nhân viên lúng túng nhất.
Đơn khiếu nại cũ. Mỗi khiếu nại là một tình huống chatbot có thể gặp lại, kèm sẵn cách xử lý đúng.
Câu hỏi theo mùa. Lễ tết, mùa tựu trường, đợt khuyến mãi; khách hỏi những thứ khác hẳn ngày thường.
Câu hỏi từ nhân viên mới. Những gì người mới vào nghề hay hỏi lại thường cũng là chỗ khách dễ hiểu nhầm.
Câu hỏi về đối thủ. Khách hay hỏi "bên kia rẻ hơn sao bên mình đắt"; chatbot không được nói xấu ai, cũng không bịa so sánh.
Câu hỏi thiếu dữ kiện. Khách hỏi "giao hàng mấy ngày" mà không nói ở đâu; câu trả lời đúng là hỏi lại.
Câu hỏi có nhiều ý. Một tin nhắn hỏi cùng lúc giá, màu và thời gian giao; chatbot hay chỉ trả lời ý đầu.
Câu hỏi đổi ý giữa chừng. Khách đang hỏi đổi hàng thì chuyển sang hỏi trả hàng; chatbot phải theo kịp.
Tin nhắn cụt lủn. Khách gửi "?" hoặc "alo"; chatbot cần phản hồi tự nhiên, không lặp lời chào máy móc.
Tình huống khẩn. Một vài câu mô phỏng khách báo bị lừa hoặc gặp sự cố an toàn, để kiểm đường chuyển gấp sang người thật.
Câu hỏi thường gặp
Chatbot trả lời sai thì doanh nghiệp có phải chịu trách nhiệm không?
Về nguyên tắc, khách giao dịch với doanh nghiệp chứ không giao dịch với phần mềm, nên doanh nghiệp khó đứng ngoài. Mức trách nhiệm cụ thể tuỳ quy định và từng vụ việc; cách an toàn là không để chatbot đưa ra cam kết mà công ty chưa duyệt.
Có nên để chatbot tự xử lý khiếu nại không?
Chỉ nên để nó ghi nhận thông tin ban đầu và chuyển cho nhân viên. Khiếu nại thường cần phán đoán, quyền quyết định và sự đồng cảm, những thứ một chatbot hiện nay không nên tự gánh.
Cần bao nhiêu câu hỏi để kiểm thử chatbot?
Không có con số chuẩn. Vài trăm câu lấy từ hội thoại thật, phủ đủ sáu nhóm kiểm tra và các kiểu viết tiếng Việt đời thường, là mức đủ để thấy chỗ yếu chính cho một chatbot hỏi đáp thông thường.
Chatbot dùng tài liệu nội bộ để trả lời thì có cần kiểm tài liệu không?
Rất cần. Phần lớn câu trả lời sai đến từ tài liệu cũ hoặc mâu thuẫn. Trước khi đưa tài liệu cho chatbot, mỗi phòng nên xác nhận phần của mình và ghi ngày cập nhật.
Làm sao biết chatbot đang tệ đi sau một thời gian?
Theo dõi tỷ lệ khách xin gặp nhân viên, số câu chatbot nói không biết, số khiếu nại liên quan, và chạy lại bộ kiểm định kỳ. Khi các con số này đổi đột ngột, thường là do tài liệu hoặc mô hình nền vừa thay đổi.
