Link gốc: karpathy.ai/zero-to-hero.html - video tại playlist YouTube, code tại github.com/karpathy/nn-zero-to-hero Tác giả: Andrej Karpathy - cựu Director of AI tại Tesla, một trong các thành viên sáng lập OpenAI, cựu nghiên cứu sinh của Geoffrey Hinton/Andrew Ng. Hình thức: Series video YouTube + Jupyter notebook, miễn phí, bằng tiếng Anh.
Tài liệu này nói gì
Phần tiêu đề “Tài liệu này nói gì”Karpathy dẫn bạn viết code từ số 0 - bắt đầu từ backpropagation (thuật toán lan truyền ngược, nền tảng của việc huấn luyện mọi neural network), qua micrograd (một thư viện autograd tối giản do chính ông viết để minh hoạ), rồi dần xây tới các mô hình ngôn ngữ, và cuối cùng là một mô hình kiểu GPT thu nhỏ (nanoGPT) - đúng kiến trúc nền của Claude, GPT, và các LLM hiện đại khác.
Mỗi video đều có bài tập kèm theo trong phần mô tả, và code Jupyter notebook tương ứng được lưu trong repo.
Vì sao đáng xem
Phần tiêu đề “Vì sao đáng xem”Đây là con đường hiểu tận gốc cách LLM hoạt động - không dừng ở việc dùng API mà thực sự viết lại (ở quy mô nhỏ) cơ chế bên trong. Sau series này, các khái niệm như token, attention, training loop… không còn là “hộp đen” mà bạn hiểu chính xác vì sao chúng vận hành như vậy.
Phù hợp với ai
Phần tiêu đề “Phù hợp với ai”Developer/kỹ sư muốn hiểu sâu cơ chế bên dưới LLM (không chỉ dừng ở cách dùng), có thời gian đầu tư nhiều giờ và không ngại code.
lượt xem
