编码器和解码器 发表于 2024-03-04 更新于 2024-12-17 分类于 ai 写完之后发现编码器和解码器这个框架不是很麻烦,就是一种思想,但是要扯上transformer就很麻烦orz。 一句话总结一下:编码器是可变->固定,解码器是固定->可变 阅读全文 »
TRANSFORMER EXPLAINER: Interactive Learning of Text-Generative Models 发表于 2024-09-13 更新于 2024-12-17 分类于 paper 百篇paper计划(7/100),很短,才2页,重点在code和其project,理解transformer。论文是没啥创新点了,写得也比较拉,看看项目吧。 这一篇写完啦!^^ 阅读全文 »
FULL PARAMETER FINE-TUNING FOR LARGE LANGUAGE MODELS WITH LIMITED RESOURCES 发表于 2023-11-24 更新于 2024-12-17 分类于 paper 百篇paper计划(1/100),推荐阅读的,没有选择趋向。内容是:用有限的资源(主要是内存)进行全参数大模型微调,研究重点集中在微调部分,做的是内存优化的工作。 阅读全文 »
TinyLLM: Learning a Small Student from Multiple Large Language Models 发表于 2024-03-24 更新于 2024-12-17 分类于 paper 小样本llm论文阅读,百篇paper计划(3/100) 阅读全文 »
Towards A Unified View Of Parameter-Efficient Transfer Learning 发表于 2024-03-18 更新于 2024-12-17 分类于 paper 高效参数微调的综述类论文阅读 阅读全文 »