没啥标题

局部最优和鞍点

发表于 2024-04-02 更新于 2024-12-17 分类于 math

局部最优和鞍点都是处在grandient为0的位置，首先是找到这个位置，然后判断它是局部最优还是鞍点，利用海森矩阵从数学公式上就能判定。最后为了让损失函数更新能逃离鞍点，可以用海森矩阵或者动量两种方法。

发表于 2024-07-01 更新于 2024-12-17 分类于 life

关于在家里做饭的备忘录

发表于 2024-04-17 更新于 2024-12-17 分类于 ai

思维链针对的是大模型搞推理问题，让它直接从直接输出一个结果变成写推理过程+结果的形式。

发表于 2024-03-05 更新于 2024-12-17 分类于 ai

注意力机制是transformer的核心，有三个关键的计算QKV

发表于 2024-03-04 更新于 2024-12-17 分类于 ai

写完之后发现编码器和解码器这个框架不是很麻烦，就是一种思想，但是要扯上transformer就很麻烦orz。

一句话总结一下：编码器是可变->固定，解码器是固定->可变

发表于 2024-09-13 更新于 2024-12-17 分类于 paper

百篇paper计划(7/100)，很短，才2页，重点在code和其project，理解transformer。论文是没啥创新点了，写得也比较拉，看看项目吧。

这一篇写完啦！^^

发表于 2024-03-24 更新于 2024-12-17 分类于 paper

小样本llm论文阅读，百篇paper计划(3/100)

发表于 2024-07-09 更新于 2024-12-17 分类于 it

写英文论文还是用latex比较好

发表于 2024-04-09 更新于 2024-12-17 分类于 it

leetcode刷题日志，哪天有空哪天刷

发表于 2024-09-12 更新于 2024-12-17 分类于 it

安装、配置、更新nodejs的流程

但是我现在更新不了……重新配置一遍算了