LLM hoạt động thế nào? Token, embedding, attention

Mô hình ngôn ngữ lớn (LLM) viết được code, trả lời câu hỏi kỹ thuật, tóm tắt tài liệu. Nhưng bên trong, nó làm một việc rất đơn giản: dự đoán token tiếp theo. Bài này giải thích các khái niệm cốt lõi để bạn dùng LLM đúng cách và hiểu vì sao nó đôi khi sai.

Token: đơn vị LLM "đọc"

Văn bản được cắt thành các token: có thể là một từ, một phần của từ, dấu câu. Tiếng Anh trung bình khoảng 3/4 từ mỗi token; tiếng Việt thường tốn nhiều token hơn cho cùng nội dung. Giới hạn độ dài và chi phí API đều tính theo token.

Embedding: biến token thành vector

Mỗi token được ánh xạ thành một vector số nhiều chiều. Các từ có nghĩa gần nhau có vector gần nhau. Đây cũng là nền tảng của tìm kiếm ngữ nghĩa trong hệ thống RAG.

Transformer và cơ chế attention

Kiến trúc Transformer cho phép mỗi token "nhìn" các token khác trong đoạn văn và quyết định token nào quan trọng với nó. Trong câu "Camera không chụp được vì nó mất nguồn", attention giúp mô hình hiểu "nó" là camera. Xếp chồng hàng chục lớp như vậy, mô hình nắm được ngữ pháp, kiến thức và cả các mẫu suy luận.

Huấn luyện qua nhiều giai đoạn

1. Pre-training: dự đoán token tiếp theo trên lượng văn bản khổng lồ. Mô hình học ngôn ngữ và kiến thức.
2. Fine-tuning theo chỉ dẫn: học cách làm theo yêu cầu, trả lời theo dạng hội thoại.
3. Học từ phản hồi của con người hoặc tiêu chí đánh giá: để câu trả lời hữu ích, trung thực và an toàn hơn.

Sinh văn bản: từng token một

Khi trả lời, mô hình tính xác suất cho mọi token có thể xuất hiện tiếp theo, chọn một token, nối vào câu, rồi lặp lại. Tham số temperature điều chỉnh độ "ngẫu nhiên": thấp thì ổn định, phù hợp code và dữ liệu; cao thì đa dạng, phù hợp viết sáng tạo.

Context window: "trí nhớ làm việc"

Mô hình chỉ thấy những gì nằm trong cửa sổ ngữ cảnh: câu hỏi, lịch sử hội thoại, tài liệu đính kèm. Các mô hình hiện đại có cửa sổ hàng trăm nghìn đến hàng triệu token, nhưng thông tin quan trọng vẫn nên đặt rõ ràng, gọn gàng.

Vì sao LLM có thể sai?

• Ảo giác: mô hình tạo ra câu "nghe hợp lý" nhất, không phải lúc nào cũng là câu đúng. Đặc biệt dễ xảy ra với chi tiết hiếm như tên hàm, số phiên bản, trích dẫn.
• Kiến thức có mốc thời gian: mô hình không biết sự kiện sau thời điểm dữ liệu huấn luyện, trừ khi được cung cấp công cụ tìm kiếm hoặc tài liệu.
• Tính toán chính xác: phép tính dài nên giao cho công cụ (máy tính, code Python) thay vì để mô hình "tính nhẩm".

Áp dụng

• Cung cấp tài liệu nguồn khi hỏi về kiến thức chuyên ngành (RAG).
• Yêu cầu trích dẫn và tự kiểm chứng những gì quan trọng.
• Kết hợp LLM với công cụ để làm việc nhiều bước: đó là AI Agent.