Mô hình AI của Zalo chào sân với màn thi kiến thức cùng con người và nhiều LLMs khác

Sáng 16/12, tại AI Summit 2023, Zalo bật mí đến công chúng về mô hình ngôn ngữ lớn (Large Language Model – LLM) tiếng Việt mà đơn vị này đang phát triển. Giải pháp hướng tới việc xây dựng ứng dụng AI tạo sinh văn bản tương thích và phục vụ tốt hơn cho người Việt Nam.

Ông Nguyễn Minh Tú, Giám đốc Công nghệ Zalo cho biết tổ chức này bắt đầu xây dựng LLM cho tiếng Việt từ đầu năm. Một số ứng dụng nhỏ của công nghệ AI tạo sinh như viết thơ, dựng avatar được đưa vào app và được hàng triệu người dùng đón nhận.

Tại Zalo AI Summit 2023, đơn vị Việt Nam lần đầu trình diễn mô hình ngôn ngữ lớn là phiên bản đang trong giai đoạn phát triển. LLM của Zalo có khả năng trò chuyện, trả lời các câu hỏi người dùng về nhiều lĩnh vực khác nhau bằng tiếng Việt.

Để thử thách khả năng của mô hình ngôn ngữ mới, mô hình được tích hợp vào Kiki để thi đấu kiến thức qua game Kahoot. Cùng tham gia trò chơi là các giải pháp ra mắt trước đó như GPT-3.5, GPT-4, Llama22, QWen và một LLM Việt Nam ra mắt gần đây và cả người thật. Bộ đề thi gồm 20 câu hỏi ở nhiều lĩnh vực, được đặt ra bởi anh Trần Mạnh Hiệp, Quản trị viên diễn đàn Tinh Tế và không chia sẻ trước với Zalo.

Quá trình trả lời câu hỏi của các mô hình ngôn ngữ lớn được thể hiện qua màn hình để người xem theo dõi trực tiếp, đảm bảo công bằng.

Trong quá trình thử thách, mô hình ngôn ngữ của Zalo AI thể hiện khá tốt ở các câu hỏi thường thức, kiến thức chung. Kiki cùng GPT-4 là hai công cụ trả lời đúng câu hỏi liên quan đến ca khúc Wish you were here của ban nhạc Pink Floyd.

“Mình không nghĩ chatbot AI sẽ trả lời đúng câu này. Đây là một chủ đề ngẫu nhiên liên quan đến sở thích của mình, phải tìm hiểu mới biết được”, anh Mạnh Hiệp bình luận.

Một số câu hỏi khác liên quan đến chủ đề trong nước như nguồn gốc của rượu Bàu Đá, Kiki và GPT-4 cũng trả lời chính xác. Trong khi đó, các LLM khác lại gặp khó khăn. Đồng thời, cả 6 AI tham gia thử thách đều không vượt qua các câu hỏi về tốc độ tối đa trong đô thị hay con giáp của năm 2024. Đây là những phần giúp con người vượt lên trong game Kahoot.

Kết thúc thử thách, các mô hình ngôn ngữ lớn đều không thể vượt qua người chơi thật với bộ câu hỏi bằng tiếng Việt. Tuy nhiên, GPT-4 và Kiki là hai công cụ có sự thể hiện tốt. Mô hình ngôn ngữ lớn của Zalo AI tỏ ra không thua kém những LLM đến từ Meta hay Alibaba.

Về việc các mô hình ngôn ngữ, kể cả GPT4 đều chưa thể vượt qua trí tuệ của người thật, anh Hiệp nhận định: “Các bot rất tuyệt vời nhưng vẫn còn khoảng cách lớn để phát triển về cả ngôn ngữ và nội dung”.

Kết quả màn so tài giữa Kiki, các LLM và người

Anh Trần Mạnh Hiệp – Quản trị viên Tinhte.vn thể hiện sự bất ngờ với khả năng xử lý và đưa ra câu trả lời của KiLM, bởi thời gian phát triển sản phẩm chưa lâu.

“Tôi cho rằng Kiki có ưu thế tốt nhờ công cụ được huấn luyện trên kho dữ liệu tiếng Việt”, anh Hiệp nói thêm.

Theo TS Nguyễn Trường Sơn, Giám đốc Khoa học tại Zalo AI, dù có hàng chục nghìn mô hình ngôn ngữ lớn đang được phát triển, nhưng số sản phẩm hỗ trợ tốt cho tiếng Việt rất hiếm. Trong khi đó, việc phụ thuộc vào các giải pháp quốc tế cũng tiềm ẩn nhiều nguy cơ về bảo mật hay tốn kém chi phí do ngôn ngữ không tối ưu.

TS. Nguyễn Trường Sơn, Giám đốc khoa học, Zalo AI

Phiên bản Kiki tham gia Kahoot được phát triển trên mô hình ngôn ngữ lớn của Zalo AI. Mô hình dựa theo kiến trúc transformer, được huấn luyện bằng các kỹ thuật như Flash Attention với dữ liệu hướng dẫn chất lượng cao. Mô hình của Zalo AI đang hướng đến mục tiêu xử lý đa tác vụ, như: dịch văn bản, sáng tạo và viết nội dung, trích xuất thông tin trong văn bản và trả lời câu hỏi... Trước đó, LLM này cũng đã từng được thử nghiệm để tạo ra hàng triệu bài thơ nhân dịp 8/3 và 20/10.

Hiện Zalo đang phát triển mô hình ngôn ngữ lớn của mình trên nhiều kích cỡ mô hình khác nhau, từ 1B đến 30B tham số. Phiên bản được được trình diễn tại Zalo AI Summit được huấn luyện trên mô hình 7B tham số.

“Đây là mô hình nền tảng được Zalo xây dựng. Sau đó, từng ứng dụng của LLM này sẽ được tinh chỉnh cho phù hợp với mục đích sử dụng trong tương lai”, ông Sơn chia sẻ.