大模型工程实训

简介

本仓库为浙江省人工智能学院开设的《人工智能工程实训》课的实践代码，包含6次实践内容。实践内容涵盖了大语言模型（LLM）的基础使用、预训练、有监督微调、强化学习、基线评估、检索增强生成、智能体等重要环节和技术，并基于华为昇腾910B加速卡云服务器环境开展实验，旨在为学习者提供一个完整的实践环境和流程，帮助大家更好地掌握大模型相关技术。

目录结构

• ep0/：第0次实践课代码，目标为掌握PyTorch和HF transformers库的基本使用，并完成一个简单的大模型推理任务。
• ep1/：第1次实践课代码，目标为掌握LLM预训练的基本技术和流程，实现一个小型LLM的预训练和评估，对训练吞吐效率和模型性能进行实验分析。
• ep2/：第2次实践课代码，目标为掌握LLM微调的基本技术和流程，对Qwen系列模型进行指令微调和评估，对微调方法和参数等进行实验分析。
• ep3/：第3次实践课代码，目标为掌握LLM后训练中基于GRPO强化学习的基本技术和流程，实现一个小型LLM的后训练和评估。

环境配置

请参考base_environment.md文件，依据其指引先完成本项目所需的总体实验环境的配置。各实验的具体环境要求和依赖请参考各实验目录下的README文件。

助教们会为大家尽量配置好基础环境（包括软件依赖和大规模文件），大家可以直接使用。若需要少量环境配置操作，请遵循助教指导或参考各实验内部 README.md 文件。

使用说明

• 本仓库中的代码仅供学习和研究使用，不得用于商业用途。
• 请确保在具备相应硬件和软件环境的情况下运行代码，具体环境配置请参考各实验目录下的README文件。
• 如有任何问题或建议，欢迎通过GitHub issue与我们联系。

贡献者

本仓库代码由 @ParadoxZW、@real-fzw、@M3Dade共同开发和维度，感谢所有参与和支持本项目的老师和同学，感谢本项目所依赖的开源代码（如 Megatron-LM、MindSpeed、MindSpeed-RL等）的原始作者和相关组织。