" Trong năm qua, chúng tôi đã dành nhiều nỗ lực đáng kể để nghiên cứu và nâng cao khả năng lập luận của các mô hình ngôn ngữ lớn, đặc biệt tập trung vào khả năng giải quyết các bài toán số học ", nhóm Qwen, chia sẻ trên nền tảng dành cho nhà phát triển GitHub mới đây.
Các mô hình ngôn ngữ lớn của Alibaba được phát hành vào tháng 6. Các mô hình này có 3 phiên bản, khác nhau về số lượng tham số mà chúng sử dụng. Tham số là các biến giúp AI học cách tạo ra đầu ra chính xác từ dữ liệu đã cho.
Công cụ AI chuyên giải toán của Alibaba đã vượt qua GPT-4o, Claude 3.5 Sonnet hay Gemini. (Ảnh minh họa: Shutterstock)
Theo bài đăng của nhóm Qwen, mô hình có số lượng tham số lớn nhất, Qwen2-Math-72B-Instruct đã vượt trội hơn các LLM độc quyền do Mỹ phát triển trong các bài đo năng lực toán học. Những LLM đó bao gồm GPT-4o, Claude 3.5 Sonnet của Anthropic, Gemini 1.5 Pro của Google và Llama-3.1-405B của Meta Platforms.
Nhóm phát triển cho biết " Chúng tôi hy vọng rằng Qwen2-Math có thể đóng góp cho cộng đồng trong việc giải quyết các vấn đề toán học phức tạp ".
Theo bài đăng, các mô hình AI Qwen2-Math đã được thử nghiệm trên cả chuẩn toán tiếng Anh và tiếng Trung. Trong đó bao gồm GSM8K - một tập dữ liệu gồm 8.500 bài toán tiểu học đa dạng về mặt ngôn ngữ nâng cao; OlympiadBench - một chuẩn khoa học đa phương thức song ngữ cấp cao; và cao khảo, kỳ thi tuyển sinh đại học khó nhằn của Trung Quốc.
Vào tháng 7, Qwen2-72B-Instruct chỉ đứng sau GPT-4o và Claude 3.5 Sonnet trong bảng xếp hạng LLM từ SuperClue, một nền tảng đánh giá mô hình dựa trên các tham số như năng lực tính toán, suy luận logic, mã hóa và hiểu văn bản, cùng nhiều tham số khác.
Theo SuperClue, khoảng cách giữa các mô hình AI của Trung Quốc và Hoa Kỳ dường như đang thu hẹp lại, và cho biết Trung Quốc đã đạt được tiến bộ đáng kể trong việc phát triển LLM nội địa nửa đầu năm nay.
Một bài kiểm tra riêng được công bố vào tháng 7 bởi LMSYS - một tổ chức nghiên cứu mô hình AI được hỗ trợ bởi Đại học California, Berkeley - cho thấy Qwen2-72B được xếp hạng 20, trong khi các mô hình độc quyền từ OpenAI, Anthropic và Google chiếm hầu hết các vị trí trong top 10.