vi

Phần hai trình bày kiến trúc Transformer qua self-attention, Query–Key–Value, multi-head attention, residual stream, layer normalization và cách song song hóa masked attention.

Phần đầu của chuỗi Transformers, giải thích từ distributional hypothesis và word embeddings đến RNN, encoder–decoder cho dịch máy, rồi dẫn vào cơ chế attention.

Một vài câu hỏi phỏng vấn C++ về queue, circular buffer, độ phức tạp, chi phí cấp phát bộ nhớ và các tính năng Modern C++.