Câu trả lời trung thực là chưa ai biết. Tăng quy mô, nghĩa là cho mô hình nhiều dữ liệu hơn, nhiều tham số hơn và nhiều sức tính hơn khi huấn luyện, đã làm năng lực tăng khá đều và dự đoán được trong nhiều năm, và đó là động lực lớn nhất của những bước tiến gần đây. Nhưng việc một đường cong tăng đều tới nay không chứng minh nó sẽ tăng mãi, càng không chứng minh nó dẫn tới trí tuệ tổng quát.
Trong giới nghiên cứu có một phía cho rằng phần lớn thứ cần thiết sẽ tự xuất hiện khi mô hình đủ lớn và được huấn luyện đúng cách, và một phía cho rằng cần những ý tưởng mới về kiến trúc, trí nhớ, cách học. Nhiều người đứng giữa. Bài này giải thích cơ chế và trình bày lý lẽ của từng phía.
Quy luật mở rộng: vì sao to hơn thì giỏi hơn
Tham số là những con số bên trong mô hình được chỉnh dần trong quá trình huấn luyện, giống như các núm vặn của một bộ trộn âm thanh khổng lồ. Mô hình càng nhiều tham số thì càng chứa được nhiều quy luật tinh vi hơn trong dữ liệu.
Các nhóm nghiên cứu đã quan sát rằng khi tăng đồng thời ba thứ, dữ liệu, tham số và sức tính, thì sai số dự đoán của mô hình giảm theo một đường cong khá trơn và có thể ước lượng trước. Người ta gọi đó là quy luật mở rộng. Nó không phải định luật vật lý, mà là quy luật thực nghiệm, đúng trong phạm vi đã đo.
Điều đáng nói là quy luật này cho phép lên kế hoạch: biết bỏ thêm bao nhiêu sức tính thì kỳ vọng mô hình tốt lên bao nhiêu. Giống một nông dân trồng lúa biết bón thêm bao nhiêu phân thì năng suất tăng chừng nào, trong một khoảng nhất định. Vì có đường cong để dựa, các công ty dám đầu tư rất lớn.
Cũng như ruộng lúa, bón mãi không làm sản lượng tăng mãi. Đường cong mở rộng có độ dốc giảm dần: muốn tốt thêm một bậc thì phải bỏ thêm nhiều lần tài nguyên. Câu hỏi then chốt là trước khi chi phí trở nên quá lớn, mô hình đã đủ giỏi để làm được việc trí óc tổng quát hay chưa.
Từ "thấy được" sang "suy nghĩ lâu hơn"
Một thay đổi quan trọng gần đây là ngoài tăng quy mô lúc huấn luyện, người ta còn tăng sức tính lúc mô hình trả lời. Thay vì đưa đáp án ngay, mô hình được cho viết nháp các bước suy luận, thử nhiều hướng, tự kiểm tra rồi mới chốt. Với nhiều bài toán, cho nghĩ lâu hơn làm kết quả tốt lên rõ rệt.
Giống học sinh làm bài thi: cùng một kiến thức, em được làm nháp thì ít sai hơn em phải nhẩm. Điều này mở thêm một chiều để tăng quy mô, và làm cho cuộc tranh luận khó phân xử hơn, vì khi một chiều có vẻ chững lại thì một chiều khác lại mở ra.
Người lạc quan nhìn vào đây và thấy bằng chứng rằng các hệ thống vẫn còn nhiều dư địa. Người hoài nghi nhìn vào đây và thấy rằng tiến bộ đến từ kỹ thuật mới chứ không phải từ việc làm to đơn thuần, nghĩa là con đường cần thêm phát minh.
Cả hai cách nhìn đều tương thích với dữ liệu hiện có. Đó là lý do người làm an toàn AI thường không đặt cược vào một phía, mà chuẩn bị cho trường hợp tiến bộ tiếp tục nhanh lẫn trường hợp chững lại.
Lý lẽ của phía tin vào tăng quy mô
Đường cong đã đúng nhiều lần. Dự đoán dựa trên quy luật mở rộng khớp với kết quả qua nhiều thế hệ mô hình.
Kỹ năng mới xuất hiện khi lớn lên. Dịch, giải toán, viết mã giỏi lên dù không ai dạy riêng từng thứ.
Ngôn ngữ chứa nhiều tri thức về thế giới. Học dự đoán chữ tiếp theo đủ tốt buộc mô hình phải nắm phần nào cách thế giới vận hành.
Những dự đoán "không làm được" hay bị lật. Nhiều việc từng được coi là ngoài tầm mô hình ngôn ngữ đã làm được.
Có thêm chiều để mở rộng. Sức tính lúc suy luận, dữ liệu tổng hợp, học từ phản hồi đều là đòn bẩy mới.
Đa phương thức đang được thêm vào. Ảnh, tiếng, video giúp mô hình bớt phụ thuộc chỉ vào chữ.
Kiến trúc đơn giản mà hiệu quả. Transformer, kiến trúc nền của nhiều mô hình hiện nay, chưa cho thấy giới hạn cứng rõ ràng.
Tiền và hạ tầng đang đổ vào. Quy mô đầu tư khiến các thử nghiệm lớn hơn sẽ tiếp tục được làm.
Ý tưởng mới có thể chạy trên nền cũ. Thêm trí nhớ hay công cụ không đòi bỏ cách làm hiện tại.
Không cần giống não người. Máy bay không vỗ cánh mà vẫn bay; trí tuệ máy không cần đi đúng đường của người.
Tiến bộ thực tế dễ thấy. Người dùng cảm nhận rõ mô hình đời sau làm được việc mà đời trước không làm được.
Lý lẽ của phía nghi ngờ
Dữ liệu chất lượng sắp cạn. Văn bản tốt của con người có hạn; dữ liệu do máy sinh ra có nguy cơ làm mô hình kém đi.
Chi phí tăng nhanh hơn lợi ích. Mỗi bậc tiến bộ đòi gấp nhiều lần tài nguyên, tới lúc không kinh tế nữa.
Giảm sai số không phải là hiểu. Dự đoán chữ tốt hơn chưa chắc dẫn tới suy luận vững chắc.
Chỗ hổng dai dẳng. Bịa thông tin, thiếu nhất quán, khó làm việc dài vẫn còn dù mô hình lớn hơn.
Thiếu học liên tục. Mô hình học xong thì đóng băng, không tự học từ trải nghiệm hằng ngày như người.
Thiếu trải nghiệm thật. Không có cơ thể, không chịu hậu quả của hành động, nên hiểu biết về thế giới vẫn qua trung gian.
Hiệu quả học thấp. Trẻ con học nói với lượng dữ liệu nhỏ hơn rất nhiều so với mô hình.
Đo lường bị lộ đề. Một phần tiến bộ trên bài kiểm tra có thể đến từ việc đã gặp đề tương tự.
Điện và chip có giới hạn. Hạ tầng vật chất không tăng nhanh theo ý muốn.
Lịch sử AI có những mùa đông. Đã có những giai đoạn kỳ vọng cao rồi chững lại khi một hướng đi cạn.
Ý tưởng lớn thường đến từ chỗ khác. Nhiều bước nhảy trong khoa học không đến từ làm to cái cũ.
Điều này có ý nghĩa gì cho an toàn AI và cho Việt Nam
Chuẩn bị cho cả hai khả năng. Nếu tăng quy mô tiếp tục hiệu quả, năng lực có thể tăng nhanh hơn kỳ vọng của nhiều người.
Sức tính là điểm kiểm soát. Vì huấn luyện mô hình lớn cần nhiều chip, theo dõi sức tính là một cách giám sát được bàn nhiều.
Mô hình lớn chỉ vài nơi làm được. Phần lớn các nước, kể cả Việt Nam, chủ yếu sẽ dùng và đánh giá mô hình hơn là huấn luyện mô hình lớn nhất.
Năng lực đánh giá quan trọng hơn bao giờ. Không làm mô hình thì càng cần biết kiểm tra mô hình nhập về.
Dữ liệu tiếng Việt là tài sản. Dữ liệu sạch, có giấy phép rõ ràng giúp mô hình hiểu tiếng Việt tốt hơn và an toàn hơn.
Mô hình nhỏ vẫn có chỗ đứng. Nhiều việc thực tế chỉ cần mô hình vừa phải, chạy nội bộ, dễ kiểm soát.
Đừng mua lời hứa. Một sản phẩm quảng cáo "gần AGI" cần được đo bằng việc thật, không bằng chữ.
Theo dõi chi phí năng lượng. Trung tâm dữ liệu cần điện và nước; đó là câu hỏi hạ tầng thật.
Đầu tư vào người. Kỹ sư hiểu cơ chế mở rộng sẽ đọc được tin tức kỹ thuật mà không bị dắt mũi.
Giữ góc nhìn dài hạn. Dù kịch bản nào đúng, nhu cầu về người đánh giá và kiểm soát hệ thống AI đều tăng.
Nói rõ mình không biết. Khi truyền đạt cho công chúng, nói thẳng rằng đây là câu hỏi mở.
Câu hỏi thường gặp
Quy luật mở rộng trong AI là gì?
Là quan sát thực nghiệm rằng khi tăng dữ liệu, tham số và sức tính theo tỉ lệ hợp lý, sai số của mô hình giảm theo một đường cong khá đều và ước lượng được. Nó đúng trong phạm vi đã đo, không phải định luật bất biến.
Tham số của mô hình là gì?
Là những con số bên trong mạng nơ-ron được điều chỉnh trong lúc huấn luyện để mô hình dự đoán tốt hơn. Nhiều tham số hơn giúp mô hình chứa được nhiều quy luật hơn, nhưng cũng tốn tài nguyên hơn.
Mô hình càng lớn có càng an toàn không?
Không tự động. Mô hình lớn hơn có thể hiểu chỉ dẫn tốt hơn nhưng cũng có năng lực mạnh hơn, kể cả năng lực có thể bị lạm dụng. An toàn phải được huấn luyện và kiểm tra riêng.
Nếu tăng quy mô chững lại thì có hết lo về rủi ro AI không?
Không. Các hệ thống hiện có đã đủ mạnh để gây hại nếu dùng sai, và tiến bộ có thể tiếp tục qua những đường khác như công cụ, tác tử, kỹ thuật huấn luyện mới.
Việt Nam có cần tự huấn luyện mô hình thật lớn không?
Đó là câu hỏi chi phí và chiến lược, chưa có câu trả lời chung. Điều ít tranh cãi hơn là cần đội ngũ biết đánh giá, tinh chỉnh và kiểm soát mô hình, cùng dữ liệu tiếng Việt chất lượng.
