Tín hiệu, không nhiễu.

Vì sao tên là sine

Một mô hình Transformer đọc cả câu cùng một lúc. Tự nó không biết chữ nào đứng trước chữ nào — với nó, một câu chỉ là một túi chữ. Thứ gắn thứ tự vào từng chữ là positional encoding: mỗi vị trí được gán một vector dựng từ hàm sin và cos ở nhiều tần số khác nhau.

Nói cách khác, hàm sine là thứ biến một đống chữ rời rạc thành một câu có trình tự. Đó cũng là việc chúng tôi cố làm mỗi ngày với tin công nghệ: không chỉ đưa ra các mẩu tin, mà đặt chúng đúng vị trí trong một câu chuyện dài hơn. Một mẩu tin không có thứ tự thì cũng chỉ là nhiễu.

Công thức lấy từ "Attention Is All You Need", Vaswani và cộng sự, 2017 — mục 3.5. Hình bên được tính trực tiếp từ hai dòng đó.