课程大纲：

Day1:行业大模型微调及RAG核心技术及经验分享

1、大模型是怎么练成的？(2h)

1）大模型训练范式，从Pretrain到SFT再到RLHF

2）GPT\llama\qwen系列的核心差异

3）大模型训练中的数据问题？从哪来？怎么构成？

4）大模型目前训练有什么框架？什么开源数据？

5）什么是推理大模型？从test-time compute到posttrain

6）DeepseekR1是怎么训练的？有哪些认知误区？

7）如何训练自己的推理大模型？

8）如何评估大模型？有哪些指标，如何评价？GSB? ACC? F1-score?

9）怎么部署大模型？部署框架？怎么加速？怎么量化？

10）大模型训练有哪些坑点跟误区？

2、行业大模型又该怎么做？(2h)

1）什么是行业大模型？成立性推敲？目前都有哪写行业大模型？

2）行业大模型实现范式？Continue-pretrain or SFT or RL？

3）行业大模型训练中的数据问题？怎么搞？怎么洗？怎么配比？数据蒸馏？合成数据？

4）行业大模型的基座选型问题？

5）行业大模型目前有哪些训练框架？哪些行业开源数据？

5）评估行业大模型怎么评估？

6）行业大模型训练有哪些坑点跟误区？

7）大家都用行业大模型在做什么？

3、RAG又该如何实施？(2h)

1）RAG是什么？为什么要用RAG? RAG的能与不能？

2）RAG的基本构成及主要变体？GraphRAG？AgenticRAG? Deepresearch? SqlRAG？

3）RAG中的知识库该怎么做？文档怎么解析，怎么切分？如果是GraphRAG，又该如何做？

4）RAG中的R该怎么做？微调Embedding? Query雕花？

5）RAG中的A该怎么做？Prompt设置？

6）RAG中的G又该怎么做？特定技能微调？

7）RAG怎么评估？

8）RAG落地有哪些认知误区？哪些坑点？

9）RAG有哪些项目框架，优缺点是啥，怎么选？

Day2:行业大模型微调及RAG典型案例建模及实战

1、行业大模型微调案例讲解(2h)

1）现有行业大模型的开源实现案例解读

2）以金融行业为例，如何设计一个行业大模型？

3）如何基于LLM进行领域数据蒸馏？如蒸馏Deepseek-R1推理数据

4）如何基于llamafactory 增量预训练并微调qwen-1.5B？

5）如何基于GRPO强化学习增强qwen-1.5B能力实操？

6）如何评估微调模型效果，基于大模型打分及指标计算？

2、RAG知识库搭建案例讲解(2h)

1）针对金融行业，如何进行RAG方案选型？技术方案如何设计？

2）基于ppstructure进行文档解析

3）如何快速手搓一个RAG？全流程解析

4）如何通过微调方式提升RAG性能，流程解析

3、技术答疑&经验交流(2h)

1）有啥问题？

2）具体业务问题，具体解答？