Bỏ qua để đến nội dung

LLM Fundamentals - Matt Pocock

Bài viết được dịch tự động từ bài viết gốc, chưa được kiểm tra lại bởi con người. Chỉ những bài viết có dấu tick xanh cạnh tiêu đề là đã được kiểm tra.

Link gốc: aihero.dev/llm-fundamentals Tác giả: Matt Pocock - nổi tiếng trong cộng đồng TypeScript (Total TypeScript), hiện điều hành AI Hero, nơi dạy developer xây dựng ứng dụng AI. Hình thức: Video, miễn phí, bằng tiếng Anh.

“AI mạnh - nhưng kỳ lạ.” Pocock lập luận rằng hiểu được giới hạn của LLM quan trọng hơn là biết gọi API - nhiều developer dùng LLM hằng ngày nhưng vẫn hiểu sai cách nó hoạt động bên trong, dẫn tới thiết kế sản phẩm/prompt kém hiệu quả.

Các khái niệm chính được giải thích:

  • System prompt hoạt động thế nào - vai trò thực sự của nó trong một cuộc hội thoại với model.
  • Model xử lý số, không phải chữ - vì sao hiểu tokenization giúp giải thích được nhiều hành vi “lạ” của LLM.
  • Context window và hệ quả - giới hạn bộ nhớ ngắn hạn của model ảnh hưởng thế nào tới chất lượng output khi hội thoại dài ra.
  • Chi phí ẩn khi gắn tool - thêm tool vào agent không “miễn phí”: nó tốn context, tốn latency, và có thể làm giảm chất lượng nếu dùng sai lúc.
  • Agent architecture - khi nào nên dùng agent, khi nào một prompt đơn giản là đủ.

Đây không phải tutorial “cách gọi API” - mà là loại kiến thức nền giúp bạn debug khi LLM/agent hành xử bất thường, và ra quyết định kiến trúc đúng hơn khi xây sản phẩm dùng AI (kể cả khi dùng Claude, GPT hay model nào khác). Rất hợp để đọc trước khi tìm hiểu sâu về Agent SDK hoặc tự xây agent riêng.

Developer đã dùng LLM qua API/chatbot nhưng chưa từng tìm hiểu “bên dưới nó hoạt động ra sao” - kể cả người có kinh nghiệm lâu năm, theo chính tác giả, vẫn dễ bị lạc trong bối cảnh AI thay đổi nhanh.