Một cỗ máy cắt thủy lực xẻ đôi gáy sách, từng trang giấy trượt qua hệ thống quét công nghiệp tốc độ cao, rồi phần bìa và ruột sách bị đưa thẳng tới nhà máy tái chế. Đó là hình ảnh được mô tả trong hồ sơ tòa án về Project Panama, dự án bí mật của Anthropic nhằm số hóa hàng triệu cuốn sách để huấn luyện chatbot Claude. Câu hỏi đặt ra không chỉ nằm ở khía cạnh pháp lý của việc phá hủy sách, mà ở một nghịch lý lớn hơn nhiều: tại sao một công ty được định giá 183 tỷ USD, sở hữu quyền truy cập gần như vô hạn vào kho dữ liệu khổng lồ của Internet, lại phải bỏ ra hàng chục triệu USD để lùng mua từng cuốn sách giấy cũ kỹ?
Câu trả lời nằm ở một nỗi sợ đang ám ảnh toàn ngành trí tuệ nhân tạo: sự cạn kiệt của dữ liệu sạch, và nguy cơ mô hình AI tự hủy hoại chính mình khi ăn phải quá nhiều thức ăn do chính nó tạo ra.
Khi AI học từ chính bản sao của mình
Trong nhiều năm, các công ty phát triển mô hình ngôn ngữ lớn xây dựng năng lực cho AI bằng cách đưa hàng tỷ từ ngữ thu thập từ Internet vào mạng nơ-ron, để hệ thống học cách nhận diện các mối quan hệ thống kê giữa từ ngữ và khái niệm. Cách tiếp cận này từng hiệu quả vì Internet, trong những năm đầu của làn sóng AI tạo sinh, được xem như một mỏ dữ liệu gần như vô tận, phản ánh trung thực tri thức và ngôn ngữ của con người.
Nhưng bức tranh đó đang đổi khác nhanh chóng. Càng ngày, Internet càng bị lấp đầy bởi chính nội dung do AI tạo ra: bài báo do AI viết, bình luận do AI soạn, thậm chí cả sách do AI chấp bút được rao bán tràn lan. Khi các công ty AI tiếp tục thu thập dữ liệu một cách không chọn lọc, rất có thể họ đang vô tình cho các mô hình mới học từ sản phẩm của chính những mô hình cũ, tạo ra một vòng lặp tự nhân bản đầy rủi ro.
Năm 2024, nhóm nghiên cứu do Ilia Shumailov dẫn đầu, gồm các nhà khoa học đến từ Cambridge, Oxford và Toronto, đã công bố trên tạp chí Nature một phát hiện gây chấn động giới học thuật lẫn công nghiệp. Họ chứng minh rằng việc huấn luyện AI tạo sinh một cách không chọn lọc trên cả dữ liệu thật lẫn dữ liệu do AI khác sinh ra, vốn thường có được bằng cách thu thập tràn lan trên Internet, có thể khiến mô hình sụp đổ dần khả năng tạo ra nội dung đa dạng và chất lượng cao. Hiện tượng này được đặt tên là model collapse.
Cơ chế của nó có thể hình dung như việc photocopy một bản photocopy, rồi lại đi photocopy chính bản sao đó, lặp đi lặp lại nhiều lần. Mỗi lần sao chép, hình ảnh lại mờ đi một chút, các chi tiết nhỏ và hiếm gặp dần biến mất, cho tới khi chỉ còn lại một khối mờ nhạt, vô nghĩa.
Với AI, các nhà nghiên cứu quan sát thấy khi cho những phiên bản mô hình kế tiếp nhau học từ dữ liệu do chính các phiên bản trước tạo ra, hệ thống suy thoái rất nhanh, ngày càng tạo ra những câu chữ tuy nghe có vẻ hợp lý về mặt xác suất nhưng thực chất trống rỗng ý nghĩa, những thứ mà không người bình thường nào sẽ viết ra. Về bản chất kỹ thuật, việc dùng nội dung tổng hợp một cách thiếu chọn lọc trong huấn luyện gây ra những khiếm khuyết khó đảo ngược, khiến những trường hợp hiếm gặp và mang tính thiểu số trong phân phối dữ liệu gốc dần bị xóa nhòa, giống như một xã hội chỉ còn lưu giữ những ý kiến phổ biến nhất và đánh mất mọi sắc thái riêng biệt.
Chính nỗi lo này lý giải vì sao sách in xuất bản trước năm 2022, thời điểm ChatGPT ra mắt và mở đầu làn sóng AI tạo sinh đại chúng, bỗng trở thành thứ tài sản quý giá bất ngờ đối với ngành công nghệ. Đây gần như là kho dữ liệu quy mô lớn cuối cùng còn sót lại mà người ta có thể tin chắc chắn một trăm phần trăm là sản phẩm của trí tuệ con người, được biên tập chuyên nghiệp, có cấu trúc lập luận chặt chẽ và văn phong được một biên tập viên thực thụ phê duyệt trước khi in.
Nguồn: ITP
So với văn bản cào từ web, vốn ngày càng lẫn lộn thật giả và pha tạp nội dung máy móc, một cuốn tiểu thuyết hay sách chuyên khảo in giấy mang lại thứ mà giới nghiên cứu AI gọi là dữ liệu sạch, nghĩa là chưa từng bị nhiễm bởi chính sản phẩm của AI. Đó là lý do các công ty như Anthropic sẵn sàng chi hàng chục triệu USD, thuê hẳn những chuyên gia từng phụ trách đàm phán sách cho Google, để đi thu gom sách cũ với số lượng công nghiệp, sau đó chấp nhận phá hủy bản gốc chỉ để lấy phần dữ liệu số hóa bên trong.
Hiện tượng này đang lan rộng ra ngoài phạm vi một công ty đơn lẻ. Nhiều nhà môi giới hiện đã bắt đầu chào bán dịch vụ săn mua sách số lượng lớn cho các công ty AI khác, biến thị trường sách cũ vốn ảm đạm suốt nhiều năm bỗng sôi động trở lại, với những đơn hàng bí ẩn từ người mua giấu tên khiến không ít chủ hiệu sách ngỡ ngàng.
Cuộc đua giấy mực giữa thời đại số
Dù vậy, bức tranh không hoàn toàn đen trắng như những tiêu đề giật gân trên báo chí quốc tế thường mô tả. Một số nghiên cứu công bố gần đây đặt câu hỏi ngược lại với chính khái niệm model collapse. Giới học thuật thừa nhận rằng hiện tượng này đã thu hút sự chú ý ở tầm cao nhất của cả giới nghiên cứu lẫn công nghiệp, được những tờ báo lớn như Scientific American hay Wall Street Journal khuếch đại thành một nguy cơ hiện hữu đe dọa tương lai của toàn ngành AI. Nhưng trên thực tế, mức độ nghiêm trọng của model collapse trong các mô hình thương mại quy mô lớn, vốn được huấn luyện với nhiều lớp lọc và kiểm soát chất lượng dữ liệu tinh vi hơn nhiều so với các thí nghiệm học thuật, vẫn là một câu hỏi còn bỏ ngỏ, chưa có sự đồng thuận tuyệt đối.
Nói cách khác, model collapse là một rủi ro có thật về mặt lý thuyết và đã được kiểm chứng trong các mô hình thực nghiệm quy mô nhỏ, nhưng việc nó có thực sự là động lực chính khiến các công ty như Anthropic đổ tiền mua sách giấy, hay chỉ là một trong nhiều lý do bên cạnh động cơ né tránh rủi ro pháp lý về bản quyền, vẫn là điều cần được nhìn nhận một cách thận trọng.
Sự trớ trêu lớn nhất của câu chuyện này có lẽ nằm ở chỗ, sau một thập kỷ ngành công nghệ tìm mọi cách số hóa, thay thế và bỏ qua sách giấy, chính những công ty đứng đầu làn sóng số hóa ấy giờ đây lại quay ngược trở lại tìm kiếm thứ tài nguyên analog cũ kỹ nhất: những trang giấy in mực từ nhiều thập niên trước. Trong một ngành công nghiệp luôn tự hào về tốc độ đổi mới chóng mặt, hóa ra thứ quý giá nhất lại là những gì chậm rãi, được biên tập kỹ lưỡng và chưa từng chạm tay vào máy tính.
Với tốc độ dữ liệu sạch trên Internet cạn kiệt nhanh như hiện nay, nhiều khả năng đây mới chỉ là khởi đầu của một cuộc đua âm thầm nhưng khốc liệt, nơi các phòng thí nghiệm AI lớn nhất thế giới cạnh tranh nhau từng kho lưu trữ, từng thư viện cũ, từng lô sách thanh lý, để giành lấy nguồn tri thức nguyên bản cuối cùng của nhân loại trước khi nó bị pha loãng hoàn toàn bởi chính những cỗ máy mà họ đang xây dựng.
*Nguồn: Arstechnica, Nature, Wall Street Journal
Thêm SOHA trên Google
