Dự án đầu tay về an toàn AI nên nhỏ, đo được và làm trọn vẹn. Ba kiểu dự án hợp với người chưa có kinh nghiệm: tự xây một bộ đánh giá tiếng Việt vài trăm câu để đo một hành vi cụ thể của mô hình; tái lập một thí nghiệm diễn giải đơn giản trên mô hình nhỏ; hoặc phân tích có hệ thống các kiểu lỗi của một chatbot tiếng Việt. Thứ làm nên giá trị không phải độ lớn mà là bản viết lại rõ ràng.
Người tuyển dụng hay người xét chương trình nghiên cứu ít khi đọc kỹ mã của bạn. Họ đọc bản báo cáo: bạn đặt câu hỏi gì, đo bằng cách nào, thấy gì, chỗ nào còn nghi ngờ. Một dự án nhỏ viết lại trung thực có sức nặng hơn một dự án lớn bỏ dở.
Bài này đi qua cách chọn đề, ba kiểu dự án cụ thể, cách viết lại, và những lỗi làm dự án mất giá trị.
Thế nào là một dự án đầu tay đáng làm
Hãy nghĩ tới câu hỏi bạn có thể trả lời bằng "có" hoặc "không", hoặc bằng một con số, trong khoảng vài tuần làm buổi tối. Ví dụ: "Mô hình ngôn ngữ nhỏ này có trả lời khác nhau khi cùng một câu hỏi được viết có dấu và không dấu không?" Câu hỏi đó hẹp, đo được, và rất Việt Nam, vì người dùng trong nước gõ không dấu rất nhiều.
So sánh với một đề quá rộng như "đánh giá độ an toàn của chatbot tiếng Việt". Đề đó không có điểm dừng, bạn sẽ làm mãi không xong và cuối cùng không kết luận được gì. Người đọc hồ sơ nhìn vào sẽ thấy tham vọng nhưng không thấy năng lực.
Dự án tốt còn có một tính chất nữa: bạn chưa biết trước kết quả. Nếu đã chắc chắn mô hình sẽ thua ở câu không dấu thì thí nghiệm chỉ là minh hoạ. Khi bạn thật sự không biết, mọi kết quả đều có giá trị, kể cả kết quả "không thấy khác biệt".
Cuối cùng, chọn đề mà bạn có lợi thế riêng. Người Việt có lợi thế lớn ở mọi thứ liên quan tiếng Việt, văn hoá Việt, bối cảnh pháp luật và đời sống trong nước. Một bộ đánh giá về cách xưng hô hay về địa danh Việt Nam là thứ người nước ngoài khó làm tốt bằng bạn.
Ba kiểu dự án cụ thể cho người mới
Bộ đánh giá có dấu và không dấu. Viết vài trăm câu hỏi kiến thức phổ thông, mỗi câu hai phiên bản có dấu và không dấu, đo độ chính xác của vài mô hình mở cỡ nhỏ trên hai phiên bản.
Bộ đánh giá nịnh người dùng bằng tiếng Việt. Hỏi một câu có đáp án rõ, sau đó người dùng khẳng định sai một cách tự tin, đo xem mô hình có đổi câu trả lời theo người dùng không.
Bộ đánh giá về xưng hô. Tiếng Việt có hệ xưng hô phức tạp. Đo xem mô hình có giữ đúng vai anh, chị, em, cô, chú suốt cuộc hội thoại không, và có lệch theo giới tính không.
Tái lập thí nghiệm "đầu dò". Huấn luyện một bộ phân loại đơn giản đọc giá trị bên trong mô hình nhỏ để đoán, ví dụ, câu đang nói về miền Bắc hay miền Nam. Đây là kỹ thuật diễn giải cơ bản và dễ bắt đầu.
Tái lập thí nghiệm tắt bớt thành phần. Tắt từng đầu chú ý của mô hình nhỏ, xem việc nào bị ảnh hưởng nhiều nhất. Kết quả thường bất ngờ.
Phân tích lỗi chatbot tiếng Việt có sẵn. Chọn một lĩnh vực hẹp như thủ tục hành chính phổ biến, hỏi một loạt câu, phân loại lỗi thành bịa thông tin, hiểu sai câu hỏi, trả lời thiếu, trả lời đúng.
Đo độ ổn định câu trả lời. Hỏi cùng một câu nhiều lần, đổi cách diễn đạt nhẹ, đo tỷ lệ câu trả lời nhất quán. Đơn giản nhưng ít ai làm cho tiếng Việt.
Đo độ hiệu chỉnh của mức tự tin. Khi mô hình nói "chắc chắn", nó đúng thường xuyên hơn khi nói "có lẽ" không? Đây là một câu hỏi an toàn quan trọng.
Kiểm tra rò rỉ dữ liệu kiểm tra. Thử xem mô hình có thuộc lòng nguyên văn một bộ đề tiếng Việt công khai không, để biết điểm số trên bộ đó còn đáng tin không.
Đừng chọn dự án tấn công. Dự án dạy cách vượt rào mô hình vừa có hại vừa làm hồ sơ của bạn bị nhìn với con mắt nghi ngại.
Chọn một, làm trọn. Ba dự án dở dang không bằng một dự án làm xong, có báo cáo, có mã chạy lại được.
Viết lại dự án sao cho người đọc tin
Mở đầu bằng câu hỏi. Một câu nói rõ bạn muốn biết điều gì, vì sao nó quan trọng.
Mô tả cách đo đủ để người khác làm lại. Số câu, cách tạo câu, mô hình nào, cấu hình nào, chấm thế nào.
Đưa ví dụ cụ thể. Vài cặp câu hỏi và câu trả lời thật giúp người đọc hình dung hơn mọi bảng số.
Báo kết quả kèm sai số. Một chênh lệch nhỏ trên vài trăm câu có thể chỉ là ngẫu nhiên. Nói rõ điều đó.
Tách điều thấy được với điều đoán. Phần kết quả nói điều đã đo; phần bàn luận mới đưa giả thuyết, và gọi đúng tên là giả thuyết.
Nói rõ giới hạn. Mô hình nhỏ, bộ câu hỏi tự viết, một người chấm. Người đọc tin bạn hơn khi bạn tự nói ra.
Kể cả kết quả âm. "Không thấy khác biệt" vẫn là kết quả, và giúp người sau khỏi làm lại.
Công khai mã và dữ liệu khi được phép. Kiểm tra bản quyền của nguồn dữ liệu trước. Đừng đăng dữ liệu có thông tin cá nhân.
Viết cả bản tiếng Việt và tiếng Anh. Bản tiếng Anh để nộp hồ sơ, bản tiếng Việt để cộng đồng trong nước đọc và góp ý.
Nhờ một người đọc trước. Một bạn không làm cùng đọc thử sẽ chỉ ra chỗ bạn tưởng rõ mà thật ra khó hiểu.
Giữ độ dài vừa phải. Vài trang là đủ. Báo cáo dài không làm dự án nhỏ thành lớn.
Những lỗi làm dự án mất giá trị
Lỗi phổ biến nhất là để mô hình tự chấm chính nó mà không kiểm tra. Dùng một mô hình ngôn ngữ để chấm câu trả lời là cách tiết kiệm công, nhưng người chấm máy cũng có thiên lệch riêng. Ít nhất hãy tự chấm tay một phần mẫu và so với máy, báo rõ mức khớp.
Lỗi thứ hai là tạo câu hỏi bằng chính mô hình mình định đánh giá. Giống như cho học sinh tự ra đề rồi tự làm: điểm cao không nói lên gì. Nếu dùng máy để gợi ý câu hỏi, hãy dùng một nguồn khác và tự biên tập lại.
Lỗi thứ ba là kết luận quá đà. Thấy một mô hình nhỏ lệch giới tính trong cách xưng hô, rồi viết "mô hình AI có định kiến giới" như một kết luận chung. Kết luận đúng chỉ là về mô hình đó, với bộ câu hỏi đó. Người đọc có kinh nghiệm sẽ đánh giá cao sự chừng mực này.
Lỗi cuối là bỏ dở phần viết. Nhiều bạn chạy xong thí nghiệm, có bảng số, rồi để đó vì thấy viết mệt hơn code. Nhưng chính phần viết mới biến dự án thành hồ sơ. Hãy dành cho nó ít nhất một phần ba tổng thời gian.
Dùng dự án khi xin thực tập hay chương trình nghiên cứu
Khi nộp hồ sơ, đừng chỉ dán đường dẫn kho mã. Viết hai, ba câu tóm tắt ngay trong thư: câu hỏi là gì, phát hiện chính là gì, bạn rút ra điều gì về cách đo. Người xét hồ sơ đọc hàng chục thư mỗi ngày, ba câu rõ ràng giúp họ quyết định có mở đường dẫn hay không.
Chuẩn bị để được hỏi sâu. Câu hỏi phỏng vấn hay gặp là "nếu làm lại, bạn sẽ đổi gì" và "kết quả này có thể sai vì lý do nào". Người trả lời tốt hai câu này cho thấy họ hiểu dự án của mình, không chỉ làm theo hướng dẫn.
Nếu dự án có kết quả thú vị, hãy gửi cho đúng người. Một nhóm nghiên cứu đang làm về đánh giá đa ngôn ngữ có thể rất quan tâm tới một bộ đánh giá tiếng Việt nhỏ nhưng làm cẩn thận. Viết thư ngắn, lịch sự, nói rõ bạn muốn góp ý hay muốn hợp tác, đừng gửi hàng loạt cùng một nội dung.
Và đừng ngại khi dự án nhỏ. Người trong nghề biết một bộ vài trăm câu làm cẩn thận khó hơn nhiều so với vẻ ngoài, vì từng câu phải được kiểm, từng nhãn phải được soát. Thứ họ tìm là dấu hiệu bạn làm việc cẩn thận và trung thực với kết quả.
Câu hỏi thường gặp
Dự án an toàn AI đầu tay nên làm trong bao lâu?
Nên đặt khung vài tuần đến hai tháng làm ngoài giờ. Quá ngắn khó có kết quả có ý nghĩa, quá dài dễ bỏ dở. Nếu thấy kéo dài, hãy thu hẹp câu hỏi thay vì kéo dài thời hạn.
Không có GPU mạnh thì làm dự án gì?
Chọn mô hình mở cỡ nhỏ và bộ đánh giá vài trăm câu, chạy được trên môi trường sổ tay đám mây miễn phí. Phần lớn dự án đầu tay về đánh giá và diễn giải đơn giản không cần phần cứng lớn.
Có nên dùng dữ liệu thu thập trên mạng xã hội không?
Cẩn thận. Bài đăng có thể chứa thông tin cá nhân và thuộc quyền của người viết. Với dự án đầu tay, tự viết câu hỏi hoặc dùng bộ dữ liệu công khai có giấy phép rõ ràng là an toàn hơn.
Dự án làm theo nhóm có được tính vào hồ sơ không?
Có, nếu bạn nói rõ phần mình làm. Người đọc hồ sơ thường hỏi cụ thể bạn đóng góp gì, nên ghi lại từ đầu ai làm phần nào.
Đăng dự án ở đâu để người khác thấy?
Một kho mã công khai kèm báo cáo, cộng một bài blog cá nhân là đủ. Chia sẻ trong các nhóm học AI tiếng Việt để nhận góp ý, và đính đường dẫn vào hồ sơ xin việc.
