Blog

An explanation of causal attention's repeated work during decoding and how reusing keys and values makes autoregressive generation cheaper in compute at a memory cost.

A personal return to hands-on programming through a ray tracer built from scratch in Rust, with detours into Rust's safety model and computer graphics.

Phần hai trình bày kiến trúc Transformer qua self-attention, Query–Key–Value, multi-head attention, residual stream, layer normalization và cách song song hóa masked attention.

Phần đầu của chuỗi Transformers, giải thích từ distributional hypothesis và word embeddings đến RNN, encoder–decoder cho dịch máy, rồi dẫn vào cơ chế attention.

Một vài câu hỏi phỏng vấn C++ về queue, circular buffer, độ phức tạp, chi phí cấp phát bộ nhớ và các tính năng Modern C++.