没啥标题

注意力机制

发表于 2024-03-05 更新于 2024-03-18 分类于 ai

注意力机制是transformer的核心，有三个关键的计算QKV

阅读全文 »

softmax

发表于 2024-03-06 更新于 2024-03-18 分类于 math

之前学的时候把softmax当作在公式里的点缀，现在来研究一下整个函数

阅读全文 »

0%