Merge remote-tracking branch 'origin/main'

Author: zjhellofss

README.md

@@ -1,11 +1,69 @@
 
 # KuiperInfer (自制深度学习推理框架)
-**🙋🙋🙋 全新课程，本项目的进阶版-自制大模型推理框架，火热进行中，请加下方微信了解**。
-
-> 带你从零写一个支持LLama推理，支持Cuda加速的大模型框架
+**我们在本项目的基础上开设了一个全新的课程，《从零自制大模型推理框架》，以下是目录，感兴趣的同学可以扫描二维码了解，欢迎大家参加。**
 
 <img src="imgs/qa.jpg" width="30%" height="30%">
 
+**一、项目整体架构和设计**
+
+> 学习架构思维，防止自己只会优化局部实现
+
+1. 环境的安装和课程简介
+2. 资源管理和内存管理类的设计与实现
+3. 张量类的设计与实现
+4. 算子类的设计与实现
+5. 算子的注册和管理
+
+**二、支持LLama2模型结构**
+> 本节将为大家补齐算法工程师思维，在算法层面讲解大模型和Transformer的原理之后，开始对LLama2进行支持
+
+
+6. LLama模型的分析
+7. MMap内存映射技术打开大模型的权重文件
+8. LLama模型文件的参数和权重载入
+9. LLama中各个层的初始化以及输入张量、权重张量的分配和申请
+10. 实现大模型中的KV Cache机制
+
+**三、模型的量化**
+
+> 为了减少显存的占用，我们开发了int8模型量化模块
+
+11. 量化模型权重的导出
+12. 量化系数和权重的加载
+13. 量化乘法算子的实现
+
+**四、Cuda基础和算子实现**
+
+> 带你学Cuda并在实战大模型算子的实现，为大模型推理赋能
+
+14. Cuda基础入门1 - 内容待定
+15. Cuda基础入门2 - 内容待定
+16. Cuda基础入门3 - 内容待定
+17. Cuda基础入门4 - 内容待定
+18. RMSNorm算子的Cuda实现
+19. Softmax算子的Cuda实现
+20. Add算子的Cuda实现
+21. Swiglu算子的Cuda实现
+22. GEMV算子的Cuda实现
+23. 多头注意力机制的Cuda实现
+24. 让框架增加Cuda设备的支持和管理
+25. 完成Cuda推理流程
+
+**五、用推理框架做点有趣的事情**
+
+26. 文本生成
+27. 讲一段小故事
+28. 让大模型和你进行多轮对话
+
+
+**六、学习其他商用推理框架的实现，查漏补缺**
+
+29. LLama.cpp的设计和实现讲解
+30. Miopen（AMD出品，对标CUDNN）的设计和实现讲解
+31. 总结
+
+
+
 ![](https://github.com/zjhellofss/kuiperinfer/actions/workflows/cmake.yml/badge.svg)
 
 ![](./imgs/logo.jpg)