LLMs-from-scratch:教你如何从零开始制作一个类似于ChatGPT这样的大语言模型

该项目详细解释了LLMs的工作原理,并通过清晰的文本、图表和示例,逐步引导读者创建自己的LLM。

适合企业团队、初创公司和教育机构来培训学习!

项目详细介绍了创建像ChatGPT这样的大型基础模型时所使用的方法。还涉及到使用一些工具来帮助编程,比如Codespaces和Copilot。

还计划介绍如何在未标记数据上进行预训练、文本分类的微调、以人类反馈进行微调以及在实践中使用大型语言模型等主题。

主要包括:

•实战指南:提供了构建LLM的逐步指南,包括代码和解释。

•多个章节:涵盖从理解LLMs到实际应用的多个方面。

•实用示例:通过Jupyter Notebook提供实用的编程示例。

项目地址:https://github.com/rasbt/LLMs-from-scratch

预计在2025年初出版的这本书,将为想要深入了解并实践LLM的读者提供宝贵的资源。

微海报