happy-llm-colab
happy-llm-colab （Colab 上，实践 happy-llm）
1.Colab 简介
Colab 上，直接运行 happy-llm 代码，细节参考 什么是 Colab？
借助 Colaboratory（简称
Colab），您可在浏览器中编写和执行Python 代码，并且：
- 无需任何配置
- 免费使用 GPU
- 轻松共享
无论您是一名学生、数据科学家还是 AI 研究员，Colab 都能够帮助您更轻松地完成工作。观看 Introduction to Colab
2.目标
背景：原始项目happy-llm 不是 ipynb 格式文件，无法直接利用 colab 运行，效率低。
焦点：编写脚本，生成 happy-llm-colab (happy-llm 的 colab 版本项目)，用于在 colab 上直接实践 happy-llm 代码。
备注：这个项目，会跟 happy-llm 保持周级别更新。
3.📖 内容导航
Tips： 直接点击下面
链接，就会跳转到colab平台，直接运行 happy-llm 对应代码.
| 章节 | 关键内容 | 状态 |
|---|---|---|
| 前言 | 本项目的缘起、背景及读者建议 | ✅ |
| 第一章 NLP 基础概念 | 什么是 NLP、发展历程、任务分类、文本表示演进 | ✅ |
| 第二章 Transformer 架构 | 注意力机制、Encoder-Decoder、手把手搭建 Transformer | ✅ |
| 第三章 预训练语言模型 | Encoder-only、Encoder-Decoder、Decoder-Only 模型对比 | ✅ |
| 第四章 大语言模型 | LLM 定义、训练策略、涌现能力分析 | ✅ |
| 第五章 动手搭建大模型 | 实现 LLaMA2、训练 Tokenizer、预训练小型 LLM | ✅ |
| 第六章 大模型训练实践 | 预训练、有监督微调、LoRA/QLoRA 高效微调 | 🚧 |
| 第七章 大模型应用 | 模型评测、RAG 检索增强、Agent 智能体 | ✅ |
附录：happy-llm 生成 happy-llm-colab 的脚本
Automatically Generated Notebooks for Colab
Tips: 不要手动执行更新文件，直接执行脚本
./run_all.sh即可.
执行脚本之前，需要安装依赖：
pip install nbformat nbconvert
conda install -c conda-forge pandoc # 或者用 brew install pandoc
// 改脚本权限
chmod +x run_all.sh