LLM指令微调教程代码开源

如果你正在寻找资源来学习LLMs指令微调过程，这里有一个开源笔记本教程可以从头开始指导你实现微调过程，本书的作者Sebastian Raschka 也是畅销书《Python Machine Learning》（《Python 机器学习》）的作者。

它解释了
– 如何将数据格式化为 1100 指令 – 响应对；
– 如何应用 prompt-style 模板；
– 如何使用掩码。
也包括关于实现基于 LLM的自动化评估过程的部分。

具体目录如下：
第 1 章：了解大型语言模型
第 2 章：使用文本数据
第 3 章：编码注意力机制
第 4 章：从头开始实现 GPT 模型
第 5 章：对未标记数据进行预训练
第 6 章：文本分类的微调
第 7 章：按照说明进行微调

Sebastian Raschka是一名人工智能和机器学习研究员，目前任职于Lightning AI，多年来致力于机器学习和人工智能的研究与开源贡献等。

开源代码地址：https://github.com/rasbt/LLMs-from-scratch/tree/main?tab=readme-ov-file&continueFlag=ffce03ef0c8c32fdce8d7d6e397e8ab8