Mô hình ngôn ngữ lớn hoạt động như thế nào?

Các công cụ trò chuyện như ChatGPT hay những trợ lý tương tự đều dựa trên một loại mô hình gọi là mô hình ngôn ngữ lớn (large language model, viết tắt LLM). Chúng có thể viết email, tóm tắt tài liệu hay giải thích khái niệm, nhưng cũng đôi khi đưa ra thông tin sai với giọng điệu rất tự tin. Để dùng chúng hiệu quả và an toàn, ta nên hiểu ở mức khái quát chúng thực sự làm gì bên trong.

Ý tưởng cốt lõi: dự đoán phần văn bản tiếp theo

Về bản chất, một mô hình ngôn ngữ được huấn luyện để trả lời một câu hỏi rất đơn giản: với đoạn văn bản đã có, phần tiếp theo nhiều khả năng là gì? Khi viết một câu trả lời dài, mô hình dự đoán từng mảnh nhỏ một, gắn mảnh vừa dự đoán vào đoạn văn bản, rồi lặp lại quá trình đó. Sự mạch lạc mà ta thấy là kết quả của việc lặp lại bước dự đoán này rất nhiều lần.

Token: đơn vị mà mô hình thực sự đọc

Mô hình không đọc chữ cái hay từ theo cách con người đọc. Văn bản được cắt thành các mảnh gọi là token, có thể là một từ, một phần của từ hoặc một dấu câu. Mỗi token được chuyển thành một dãy số, và mô hình xử lý các dãy số này. Hệ quả thực tế là mô hình có giới hạn về số token có thể xem xét cùng lúc, thường gọi là cửa sổ ngữ cảnh. Nếu cuộc trò chuyện hoặc tài liệu quá dài, phần đầu có thể bị bỏ qua.

Kiến trúc transformer và cơ chế chú ý

Hầu hết các mô hình ngôn ngữ lớn hiện nay dựa trên kiến trúc transformer. Điểm then chốt của kiến trúc này là cơ chế chú ý (attention), cho phép mô hình cân nhắc mức độ liên quan giữa các token trong đoạn văn bản. Nhờ vậy, khi gặp đại từ như "nó" trong một câu, mô hình có thể xác định "nó" nhiều khả năng chỉ đối tượng nào ở phía trước. Trong quá trình huấn luyện, hàng tỷ tham số của mô hình được điều chỉnh dần để dự đoán token tiếp theo chính xác hơn trên một lượng văn bản rất lớn.

Từ mô hình thô đến trợ lý trò chuyện

Một mô hình chỉ mới được huấn luyện để dự đoán văn bản thường chưa thể trò chuyện tốt. Để trở thành trợ lý hữu ích, mô hình thường trải qua thêm các bước tinh chỉnh, trong đó nó được dạy theo các ví dụ hội thoại và được điều chỉnh dựa trên đánh giá của con người về câu trả lời nào hữu ích, trung thực và an toàn hơn. Vì vậy, hành vi của một trợ lý AI phản ánh cả dữ liệu huấn luyện lẫn các lựa chọn của đội ngũ phát triển.

Vì sao mô hình có thể "bịa" thông tin?

Do mô hình được tối ưu để tạo ra văn bản hợp lý về mặt ngôn ngữ, chứ không phải để tra cứu một cơ sở dữ liệu sự thật, nó có thể sinh ra câu trả lời nghe rất thuyết phục nhưng không đúng. Hiện tượng này thường gọi là "ảo giác" (hallucination). Nó hay xảy ra với các chi tiết cụ thể như tên người, số liệu, trích dẫn hoặc nguồn tham khảo. Một số hệ thống giảm vấn đề này bằng cách cho phép mô hình tra cứu tài liệu bên ngoài trước khi trả lời, nhưng không cách nào loại bỏ hoàn toàn rủi ro.

Một vài thói quen sử dụng hữu ích:

• Kiểm chứng các số liệu, tên riêng và trích dẫn với nguồn đáng tin cậy.
• Cung cấp ngữ cảnh và tài liệu liên quan trong câu hỏi để mô hình bám sát hơn.
• Coi kết quả là bản nháp để chỉnh sửa, không phải đáp án cuối cùng.

Kết luận

Mô hình ngôn ngữ lớn là hệ thống dự đoán token tiếp theo dựa trên các quy luật thống kê học từ lượng văn bản khổng lồ. Chúng rất mạnh trong việc soạn thảo, diễn đạt lại và gợi ý ý tưởng, nhưng không "hiểu" thế giới theo cách con người và không bảo đảm tính đúng đắn. Hiểu được điều này giúp chúng ta tận dụng sức mạnh của công cụ đồng thời giữ vai trò kiểm tra và quyết định cuối cùng.