MiniMind极简LLM训练源码

文章正文

MiniMind 是一套开源的极简大语言模型训练源码，最大的卖点是从零开始、用 PyTorch 原生代码亲手训出一个超小语言模型。
官方实测在单张 3090 上用约 2 小时、不到 3 块钱就能跑完一轮 SFT，把动辄百亿参数的黑盒拆成看得懂、改得动的代码。

源码简介

这套源码属于大模型训练实践类项目，核心不是调用现成 API，而是把预训练、微调、强化学习等各阶段都用原生 PyTorch 从零写一遍。
项目覆盖 Dense 与 MoE 两种结构、Tokenizer 训练、Pretrain / SFT / LoRA / DPO / GRPO / Tool Use / Agentic RL 等完整链路，并附带 Streamlit 聊天界面与 OpenAI 兼容服务端。
下载后可用于本地学习 LLM 底层实现，理解一个语言模型是怎么从数据一步步训出来的。

适用场景

• 学习大语言模型从零训练与底层实现
• 复现预训练、SFT、LoRA、DPO、GRPO 等训练流程
• 二次开发自定义小模型或接入第三方 Chat UI

技术栈与运行环境

• 语言与框架：Python + PyTorch（核心算法全部原生实现），兼容 transformers / trl / peft
• 训练支撑：支持单机单卡与多卡（DDP、DeepSpeed），wandb / swanlab 可视化
• 推理与服务：llama.cpp、vllm、ollama 等推理引擎，自带 OpenAI 兼容 API 服务
• 界面：基于 Streamlit 的极简聊天 WebUI，支持思考展示与多轮 Tool Call
• 其他依赖：datasets、sentence-transformers、tiktoken、Flask、streamlit，评测支持 C-Eval / C-MMLU / OpenBookQA

功能亮点

• 从零训练：所有核心模块（注意力、位置编码、MoE 路由等）均用 PyTorch 手写，不依赖高层封装。
• 完整训练链路：覆盖 Pretrain、SFT、LoRA、RLHF（DPO）、RLAIF（PPO / GRPO / CISPO）、Tool Use 与 Agentic RL。
• 双结构支持：主线同时提供 Dense 与 MoE 两种模型结构，默认对齐 Qwen3 / Qwen3-MoE 生态。
• OpenAI 兼容服务：serve_openai_api.py 提供兼容 OpenAI 协议的极简服务端，可接入 FastGPT、Open-WebUI 等。
• 极简聊天界面：web_demo.py 基于 Streamlit，支持思考过程展示、工具选择与多轮工具调用。
• 实验性拓展：README 提及视觉模型、多模态、离散扩散语言模型与线性注意力等变体分支。

安装与部署提示

1. 准备环境：安装 Python 与 PyTorch（requirements.txt 已列出 datasets、transformers、trl、streamlit 等依赖，torch 需按本机 CUDA 自行安装）。
2. 准备数据：使用项目提供的预训练 / SFT / RL 等开源数据集，按文档与脚本说明组织目录。
3. 训练与体验：按脚本依次执行预训练与微调；训练后运行 web_demo.py 启动聊天界面，或 serve_openai_api.py 提供 API 服务。

安全风险提示

特别提示：本源码未检测安全风险文件，下载后请务必进行安全审计，删除恶意代码后再部署使用！

下载说明

源码仅供学习研究、测试部署和二次开发参考，商用前请自行确认授权、版权和安全风险。
MiniMind 采用 Apache-2.0 协议开源，可自由学习与修改；训练所用第三方数据集请遵守各自许可。
GitHub开源地址：https://github.com/jingyaogong/minimind