从 NLP 到大语言模型

注意：本项目当前暂不接受 Pull Request。 如果您有任何建议或发现任何问题，欢迎通过 Issue 进行反馈。

项目简介

本项目旨在为NLP学习者提供一条从理论入门到动手实战的学习路径。教程内容分为三大核心部分：理论篇与实战篇。

在理论篇中，我们将系统介绍NLP的基础概念、核心技术（如词向量、循环神经网络、注意力机制与Transformer等），为学习者构建坚实的知识体系。实战篇则将引导学习者应用所学知识解决真实世界的NLP任务。。。未完待续

项目受众

本教程适合以下人群：

• 对自然语言处理感兴趣，并希望系统学习相关技术的学生、开发者和研究人员。
• 希望从零开始构建NLP知识体系的AI算法工程师。

前置要求：

• 熟练掌握 Python 编程。
• 具备 PyTorch 使用基础。
• 了解基本的深度学习概念（如神经网络、梯度下降等）。

内容大纲

第一部分：理论篇

• 第1章：NLP简介
  • NLP 概述
• 第2章：文本表示与词向量
  • 初级分词技术
  • 词向量表示
  • 从主题模型到Word2Vec
  • 基于Gensim的词向量实战
• 第3章：循环神经网络
  • 循环神经网络
  • LSTM 与 GRU
• 第4章：注意力机制与Transformer
  • Seq2Seq 架构
  • 注意力机制
  • 深入解析Transformer
• 第5章：语言模型
  • BERT 架构及应用
  • GPT 架构及应用
• 第6章：深入大模型架构
  • [] [手搓一个 Llama2]
  • [] [MOE 架构解析]

第二部分：实战篇

• 第1章：文本分类
  • 文本分类简单实现
• 第2章：命名实体识别
  • 命名实体识别概要
  • NER 项目的数据处理
  • 模型构建、训练与推理

第三部分：微调量化篇

• 第1章：参数高效微调
• 第2章：高级微调技术
  • RLHF 技术详解
  • 基于 Llama Factory 的微调实战
• 第3章：大模型训练与量化

第四部分：应用部署篇

第五部分：安全篇

致谢

核心贡献者

• XXX-项目负责人（项目发起人与主要贡献者）

特别感谢

• 感谢 @Sm1les 对本项目的帮助与支持
• 感谢所有为本项目做出贡献的开发者们
• 感谢开源社区提供的优秀工具和框架支持
• 特别感谢以下为教程做出贡献的开发者！

Made with contrib.rocks.

参与贡献

• 发现问题请提交 Issue。

Star History

如果这个项目对你有帮助，请给我们一个 ⭐️

让更多人发现这个项目（护食？发来！）

关注我们

扫描下方二维码关注公众号：Datawhale

许可证

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。