智慧驱动 IntelliDriven

ai_learning · 课程大纲

人工智能全栈学习课程

从 Python 零基础到大模型工程化与智能体开发的完整学习路径。四个阶段循序渐进：先打牢编程与数据分析地基，再建立机器学习与深度学习的算法直觉，随后深入大模型原理与 NLP 实战，最终落到预训练、微调、部署与 Agent 的工程化能力。

4SESSIONS 阶段
47CLASSES 课时
70+NOTEBOOKS 讲义
46PPT 课件
39作业 + 参考答案
111原理配图
4阶段词汇表

课程资料结构

每讲通常包含：.pptx 课堂课件 · .ipynb 可运行讲义（含代码与图示）· HW/ 目录下的作业与参考答案。每个 Session 根目录另附 词汇表.md，汇总本阶段的专业术语中英对照。

Session 1 · 12 讲

Python 编程与数据分析基础

零基础起步：语法、数据结构、函数与面向对象，再进入科学计算三件套（NumPy / Pandas / Matplotlib）与文件、图像、网络、工程化实践。学完可独立完成数据处理与分析类脚本项目。

Python 3.10+Jupyter / VS CodeNumPyPandasMatplotlib / Seaborn / PyechartsPillow · re · requests · FastAPI
C0

开发环境搭建

Python 与编译器安装和测试

  • Python 解释器安装（Windows / macOS）与 VS Build Tools
  • VS Code 扩展安装、项目文件夹与解释器选择
  • 虚拟环境：venv 创建、激活与依赖隔离
  • Jupyter 内核与常用包安装
  • 运行 .py 脚本与 .ipynb 笔记本、常见问题排查
VS Code 开发环境
Python 安装向导
安装文档 MD
C1

初识 Python 与变量运算符

从 Hello World 到表达式

  • Python 是什么、发展史、优缺点与语言排行榜
  • 交互式环境 REPL、第一个程序、注释规范
  • 变量与基本类型、命名规范与类型转换
  • 算术 / 赋值 / 比较 / 逻辑运算符与优先级
  • 实战：华氏温度转换、圆周长面积、闰年判断
TIOBE 编程语言排行榜
PYPL 与 IEEE Spectrum 榜单
PPT1 Notebook作业+答案
C2

分支与循环结构

程序的控制流

  • if / elif / else 与 match / case（3.10+）
  • for-in / while 循环、break 与 continue
  • 嵌套循环：九九乘法表
  • 经典练习：分段函数、等级制换算、素数判断、最大公约数、猜数字
  • 实战篇：斐波那契、水仙花数、百钱百鸡穷举优化、CRAPS 骰子游戏
PPT2 Notebooks作业+答案
C3

核心数据结构全通关

列表 / 元组 / 字符串 / 集合 / 字典

  • 列表：运算、索引切片、遍历、增删查排、列表生成式、嵌套列表
  • 元组：打包解包、星号表达式、与列表的取舍
  • 字符串：转义与原始串、格式化、修剪替换、拆分合并、编解码
  • 集合：交并差、二元运算、frozenset
  • 字典：创建遍历、get/keys/values/items/update、合并运算符
  • 应用：掷色子统计、双色球随机选号
集合的四种运算
双色球随机选号
字典结构类比
PPT1 Notebook作业+答案
C4

函数与模块

从复用到高阶抽象

  • 函数定义、位置/关键字参数、默认值、可变参数
  • 用模块管理函数、标准库常用模块
  • 函数进阶：高阶函数、Lambda、偏函数
  • 高级应用：装饰器、递归调用
  • 实战：随机验证码、素数判断、最大公约数与最小公倍数、数据统计
函数定义的组成
PPT1 Notebook作业+答案
C5

文件读写与异常处理

兼办公自动化全攻略

  • 文件打开关闭、文本与二进制读写、with 上下文管理
  • 异常处理机制：try/except/finally 与异常类型
  • 序列化：JSON 读写、调用网络 API 获取数据、CSV 读写
  • Excel 自动化：xlrd/xlwt 经典版与 openpyxl 现代版、样式、公式、图表
  • Word / PPT 自动化：文档生成、模板替换批量出证
  • PDF 操作：文本提取、旋转合并加密、批量水印、创建 PDF
文件打开模式流程图
openpyxl 自动生成统计图表
Word 模板批量生成文档
用代码创建 PDF
PPT2 Notebooks作业+答案
C6

数据分析概况与 NumPy

科学计算的基石

  • 数据分析师技能栈、通用流程与工具生态；Anaconda + JupyterLab 环境
  • ndarray 创建：array / arange / linspace / logspace / random / 特殊数组 / 读图
  • 数组属性、普通索引、切片、花式索引、布尔索引；图像切片实战
  • 描述统计：集中趋势、离散程度、轴向操作、箱线图、Scipy 扩展
  • 矢量化与广播：ufunc 一元/二元函数、后缘维度匹配原则
  • 去重、堆叠拼接、条件抽取（extract / where / select）、repeat 与 tile
  • 线性代数：向量点积叉积、行列式、矩阵乘法、解线性方程组
  • 多项式与最小二乘拟合；案例：电影推荐、收入-支出线性回归
NumPy 广播机制
ndarray 切片
矩阵乘法
图像切片处理
PPT4 Notebooks作业+答案
C7

深入浅出 Pandas

从 Series 到 DataFrame（6 讲连续）

  • ① Series：创建、标量/矢量运算与自动对齐、四类索引、统计与清洗方法、map/apply、排序 Top-N、绘图
  • ② DataFrame 基础：四种创建方式、read_csv / read_excel、info/head/tail、索引切片与 query()
  • ③ 重塑与清洗：concat 与 merge（how 参数）、缺失值、重复值、异常值检测处理
  • ③ 预处理：日期拆解、字符串处理、独热编码、pd.cut() 分箱
  • ④ 透视分析：描述统计、排序 Top-N、groupby 分组聚合与 agg、pivot_table / crosstab、可视化
  • ⑤ 进阶操作：同比环比（shift / pct_change）、滚动窗口双均线、协方差与皮尔逊/斯皮尔曼相关
  • ⑥ 索引的秘密：RangeIndex、CategoricalIndex、MultiIndex、IntervalIndex、DatetimeIndex 与重采样、时区处理
DataFrame 常用方法
数据透视表
滚动窗口双均线
PPT6 Notebooks作业+答案
C8

面向对象编程

封装 · 继承 · 多态

  • 类与对象、__init__ 构造器、属性与方法
  • 封装：可见性、动态属性、__slots__
  • @staticmethod / @classmethod / @property
  • 继承与多态、抽象类设计
  • 综合实战：扑克游戏（Has-A 关系与运算符重载）、工资结算系统
PPT1 Notebook作业+答案
C9

图像处理与正则表达式

Pillow + re 二合一速成

  • Pillow：打开图片、格式尺寸模式、裁剪与缩略图
  • 旋转、翻转、缩放、滤镜（CONTOUR）与像素级修改
  • 绘图实战：画布、文字、线条、矩形与随机颜色椭圆
  • 正则表达式：数字提取、用户名 / QQ 号 / 手机号校验
  • 敏感词替换、日志与文本批量抽取
Pillow 绘图输出
图像处理素材
PPT作业+答案
C10

数据可视化全景

从静态到交互

  • 选图指南、中文乱码与高清屏配置、画布与坐标系概念
  • 基础图表：折线、散点、柱状、饼图、直方图、箱线图
  • 进阶图表：气泡图、面积图、雷达图、玫瑰图、3D 图表
  • Seaborn：统计图表的"精装修"
  • Pyecharts：交互式图表与地图
选图指南
玫瑰图
Pyecharts 交互地图
3D 曲面图
PPT1 Notebook作业+答案
C11

网络 · 算法 · 项目实战

阶段收官：工程化能力

  • HTTP 协议与 API 基础、requests 获取数据与错误处理
  • 本地调用大模型 API（承接 Session 3）
  • 时间复杂度直觉与排序算法库
  • 用 FastAPI 构建第一个 API 服务
  • 工程化：Pytest 单元测试、requirements.txt、__main__ 入口、argparse 命令行参数
PPT1 Notebook作业+答案
Session 2 · 15 讲

机器学习与深度学习基础

建立算法直觉与工程方法：从监督学习经典模型到集成学习、特征工程与调优体系，再切入 PyTorch 与深度学习全景，完成 CNN / RNN / LSTM 与词向量的原理与手写实现。每个算法均配"手撕 NumPy 实现 + Scikit-Learn 工业级用法"双轨教学。

Scikit-LearnPyTorchXGBoost / LightGBMGensim / JiebaMNIST · CIFAR-10 · Iris
C1

机器学习入门

从 AlphaGo 到 ChatGPT 的核心技术

  • AI / 机器学习 / 深度学习的关系；狭义 AI 与通用 AI；发展简史
  • 机器学习的核心思想、九大应用领域与局限性
  • 模型分类：监督 / 无监督 / 半监督 / 强化学习
  • 项目实施九大步骤；首个实践：kNN vs 线性回归预测支出
  • 损失函数、蒙特卡洛模拟、最小二乘法三种求参方式
  • 进阶：训练/验证/测试集划分与数据泄露、分类与回归评估指标、欠拟合与过拟合
机器学习模型分类
欠拟合与过拟合
人工智能发展简史
PPT1 Notebook作业+答案
C2

回归模型家族

从理论到实战

  • 一元 / 多元线性回归、多项式回归、正则化回归、逻辑回归
  • 求解方法：正规方程解析解 vs 梯度下降法
  • 案例：汽车 MPG 数据集（相关性分析、特征工程、训练测试划分）
  • 回归评估指标；正则化：Ridge(L2)、Lasso(L1)、Elastic Net
  • SGDRegressor 随机梯度下降与关键超参
  • 多项式回归的欠拟合到过拟合演示；逻辑回归用于分类
Sigmoid 函数
多项式回归拟合
回归评估 R²
PPT1 Notebook作业+答案
C3

树模型三重奏

可解释性到梯度提升

  • 决策树原理：如何"提一个好问题"
  • 分裂准则：信息熵与信息增益(ID3)、信息增益比(C4.5)、基尼指数(CART)
  • 剪枝策略：避免"死记硬背"
  • Scikit-Learn 实战与决策树可视化、特征重要性、超参调优
  • 随机森林：双重随机性、Bagging 思想与实战对比
生活中的决策树
决策树可视化
随机森林
PPT1 Notebook作业+答案
C4

集成学习

从投票到提升

  • 三大门派：Bagging（并行投票）、Boosting（串行纠错）、Stacking（多层堆叠）
  • AdaBoost：样本权重与"难啃的骨头"
  • GBDT：梯度提升与拟合残差
  • XGBoost：二阶导数、正则项与工程优化
  • LightGBM：直方图算法与 Leaf-wise 生长
Bagging
Boosting
Stacking
PPT1 Notebook作业+答案
C5

k 近邻算法

近朱者赤的魔法

  • 算法直觉与距离度量（欧氏、曼哈顿、闵可夫斯基）
  • 鸢尾花数据集实战：加载、划分训练测试集
  • 手撕代码：用 NumPy 从零实现 kNN
  • Scikit-Learn 工业级实现
  • 模型评估：混淆矩阵、ROC 与 AUC；K 值调优；kNN 回归扩展
距离度量方式
混淆矩阵
ROC 曲线与 AUC
PPT1 Notebook作业+答案
C6

K-Means 聚类

无监督学习的核心引擎

  • 什么是聚类、聚类 vs 分类的本质差异
  • K-Means 算法原理与数学表达（质心迭代）
  • 手写 K-Means：初始化、分配、更新三步循环
  • 鸢尾花实战与结果可视化
  • Scikit-Learn 实现与关键参数详解；DBSCAN 对比
分类 vs 聚类
K-Means 迭代过程
DBSCAN 对比
PPT1 Notebook作业+答案
C7

特征工程与降维

机器学习的"食材处理"艺术

  • 数值 / 分类 / 文本 / 时间序列四类特征的处理方法
  • 缺失值处理策略
  • 特征变换：标准化与归一化、TF-IDF 关键词提取
  • PCA：数学直觉（寻找"最宽的影子"）与代码实战
  • t-SNE：邻居关系保持、手写数字可视化
  • 对照实验：不做特征工程会怎样？
PPT1 Notebook作业+答案
C8

模型调优四件套

交叉验证与超参攻防（含 SVM）

  • K 折交叉验证：小样本下的生存之道
  • 嵌套验证：防止"划重点式作弊"的双层隔离
  • 早停（Early Stopping）与关键监控指标
  • 超参搜索：网格搜索 / 随机搜索 / 贝叶斯优化（代理模型、探索与利用）
  • SVM 专题：几何直觉、间隔与支持向量、硬间隔与软间隔、核技巧、RBF 与 γ 参数
  • 搜索与验证的闭环工作流
K 折交叉验证
SVM 核技巧
贝叶斯优化
PPT1 Notebook作业+答案
C9

群智能优化算法

寻优不用导

  • 什么是元启发式（Metaheuristics）与群智能（Swarm Intelligence）
  • 模拟退火 SA：Metropolis 准则与降温策略
  • 蚁群算法 ACO：信息素机制；TSP 旅行商问题实战
  • 粒子群 PSO：个体最优与全局最优的速度更新公式
  • 三种算法的选型建议
模拟退火流程
蚁群算法
粒子群优化
PPT1 Notebook作业+答案
C10

朴素贝叶斯

用概率更新认知

  • 贝叶斯定理：观念更新的公式与真实案例
  • 为什么"朴素"？特征条件独立假设的完整数学推导
  • 手写实现：NumPy 完成训练（概率统计）与预测（得分计算）
  • 似然性、最大似然估计 MLE 与 最大后验估计 MAP 的区别
  • Scikit-Learn 的三种变体（高斯 / 多项式 / 伯努利）
  • 扩展用途：异常检测、推荐系统、缺失值填补
PPT1 Notebook作业+答案
C11

PyTorch 从入门到实战

深度学习实战第一课

  • 动态图机制与 PyTorch 的选型理由；环境准备与 GPU 检测
  • Tensor：穿了机甲的 NumPy
  • Autograd：自动微分与"蒙眼下山"的梯度机制
  • 数据管道：Dataset 与 DataLoader
  • 搭建神经网络、训练循环、模型保存加载与推理
  • PyTorch 生态与 TensorFlow 对比
PPT1 Notebook作业+答案
C12

深度学习全景导学

从感知机到神经网络

  • 深度学习三次浪潮与传统软件的局限
  • 感知机与其局限性 → 多层感知机 MLP
  • 训练（Training）vs 预测（Inference）
  • 前向传播逐步计算与代码模拟
  • 反向传播：链式法则推导与"逐层分锅"直觉
  • 激活函数：为什么需要非线性、常见函数大比拼
  • 核心超参数及其影响；网格 / 随机 / AutoML(Optuna) 调参
多层感知机
反向传播
常见激活函数
训练 vs 预测
PPT1 Notebook作业+答案
C13

词向量炼金术

分词 · 表示 · Word2Vec（4 讲连续）

  • ① 分词：Jieba 词典与 DAG 图计算、动态规划、HMM 猜新词、词性标注；字粒度与 BPE 子词分词
  • ② 离散表示：One-Hot、词袋模型与余弦相似度、N-gram 与维度灾难、TF-IDF；深度学习的序号化流程
  • ③ 从主题模型到 Word2Vec：SVD 共现矩阵分解、聚类视角；CBOW vs Skip-gram 两种模式与数学直觉
  • ④ Gensim 实战：标准三步工作流、TF-IDF、LDA 主题挖掘、训练与保存自己的词向量
  • Word2Vec 的遗憾：静态词向量无法处理一词多义
CBOW vs Skip-gram
PPT4 Notebooks作业+答案
C14

深度学习经典网络架构

从"认数"到"理解时空"

  • NN / MLP：全连接网络的结构特点与瓶颈
  • CNN：卷积的三维透视与特征提取、池化压缩、整体流程；NumPy 手写 + PyTorch 实现
  • RNN：隐藏状态与循环本质、逐步解析、文本分类演练；NumPy 手写 + nn.RNN
  • LSTM：遗忘门 / 输入门 / 长期记忆更新 / 输出门；nn.LSTM 实战
  • ELMo：上下文相关的动态词向量；与单向 LSTM 的对照实验
  • 网络演进逻辑图总结
卷积神经网络
循环神经网络
LSTM 门控结构
ELMo 双向语境
PPT1 Notebook作业+答案
C15

优化器、损失函数与超参调优

深度学习进阶细节

  • 梯度下降家族：BGD / SGD / Mini-batch 的取舍
  • 自适应：AdaGrad、RMSProp
  • 动量：物理直觉与数学公式
  • Adam 与 AdamW：解耦权重衰减的原理与必要性
  • L1 vs L2 正则化的图解与对比
  • 损失函数：回归任务与分类任务的选型
  • 模型诊断：Epoch / Batch Size / 学习率的平衡；从 Loss 曲线判断欠拟合、过拟合、未收敛、震荡
拟合状态诊断
L1 与 L2 正则化
未收敛的 Loss 曲线
PPT2 Notebooks作业+答案
Session 3 · 10 讲

大模型原理与 NLP 实战

沿着"注意力 → Transformer → 预训练范式 → 现代架构"的主线拆解大模型内核，逐层手写实现关键组件（Self-Attention、Multi-Head、RMSNorm、RoPE、GQA、SwiGLU、MoE），并配合推理部署、提示工程、模型测评与一个完整的 NER 项目落地。

TransformerBERT / GPT / T5Llama2 · MoEHugging FacevLLM · llama.cpp · SGLangNER 项目
C1

大模型导论

认知重塑：读懂 AI 的"大航海时代"

  • AI 的本质拆解：非搜索、非百科、会"幻觉"；把 AI 当作"名校毕业的实习生"
  • 硬件基础：GPU 与显存（VRAM）、内存与显存的区别
  • 全球大模型"英雄榜"与实测对比、避坑指南
  • 调用方式：本地部署（普通 / vLLM 高性能）与 API 调用（通义千问）
  • Zero-Shot vs Few-Shot 提示词效果对比实战
  • Qwen Agent 初探与大模型能力边界
AI / ML / 神经网络 / 深度学习
CPU 与 GPU 显存架构
PPT1 Notebook2 组作业+答案
C2

从词向量到 Seq2Seq

大模型进阶第一课

  • Embedding：万物皆可向量化；把句子变成向量的代码实战
  • Tokenization：BPE（频率派）、WordPiece（概率派）、BBPE（字节派）与选型
  • 位置编码：为什么需要？拼接 vs 相加的深度辨析
  • 正弦位置编码的计算、热力图可视化与"左快右慢"的三个理由（唯一性、相对位置旋转性质、多尺度分辨率）
  • Seq2Seq 架构：编码器-解码器、Teacher Forcing 与自回归推理的差异
  • PyTorch 代码实战与架构局限性思考
Seq2Seq 编码器-解码器
PPT1 Notebook2 组作业+答案
C3

Embedding 模型评测实战

如何挑选最适合你的"翻译官"

  • 任务维度：模型如何"理解"语言（检索、相似度、分类、聚类）
  • 评价指标维度：如何量化模型分数
  • 工程性能测试：延迟、吞吐、显存与维度成本（真实工作最关心）
  • 降维可视化与误差分析方法
  • 真实场景下的模型选型清单
聚类纯度评估指标
PPT1 Notebook2 组作业+答案
C4

注意力机制

大模型基石

  • 为什么"一刀切"不好用：传统模型的"压缩包"困局与固定对齐的翻车现场
  • 数学推导：从固定对齐到动态加权，权重怎么算
  • QKV 范式：查询-键-值的完整解读
  • PyTorch 实战：带 Attention 的解码器与完整 Seq2Seq 模型
  • 家族谱系：Soft vs Hard、Global vs Local 的对比
注意力计算三阶段
QKV 逐步计算
注意力热力图
PPT1 Notebook作业+答案
C5

深入解析 Transformer

AI 时代的"内燃机"

  • Self-Attention：自注意力 vs 交叉注意力、计算过程详解、并行计算优势
  • Multi-Head Attention：为什么要多头？PyTorch 实现
  • 位置编码在整体架构中的位置
  • Encoder：多头自注意力 + FFN + 残差连接 + LayerNorm 的完整拆解
  • Decoder：Masked 自注意力（防作弊）、交叉注意力、FFN 三大子层
  • 动手组装：极简 Encoder Layer → 带 causal mask 的 Decoder Layer → 完整 Transformer
缩放点积与多头注意力
多头注意力的拼接
Transformer 整体架构
自注意力 vs 交叉注意力
PPT1 Notebook作业+答案
C6

Transformer 三兄弟

BERT · GPT · T5 与 Hugging Face（4 讲连续）

  • ① BERT：只保留 Encoder 的"阅读理解大师"；双向性分水岭；MLM 完形填空与 80/10/10 策略；NSP 任务；输入三向量叠加与特殊 token；为什么不适合生成；手搓最小 BERT Encoder Block + MLM 头
  • ② GPT：把"接词"做到极致；Decoder 只看过去的本性；进化史与工程细节；为什么"提示"取代了"微调"；Hugging Face 文本生成器实战
  • ③ T5：万物皆文本的 Text-to-Text 框架；提示词鼻祖；Span Corruption 预训练；相对位置编码与简化 LayerNorm 的源码解析
  • ④ Hugging Face：生态全景、Pipeline 极速体验与黑盒拆解、Datasets 批量预处理、Trainer 全自动训练
BERT 的 MLM 与 NSP
预训练 + 微调范式
GPT-2 的模型规模
T5 的 Span Corruption
PPT4 Notebooks作业+答案
C7

手搓大模型：Llama2 与 MoE

现代架构扩展

  • 从零实现 Llama2：RMSNorm → RoPE 旋转位置编码 → GQA 分组查询注意力 → SwiGLU 前馈网络 → 终极组装
  • MoE 原理：术业有专攻的直觉、单体网络的互相干扰、从"合作"到"竞争"的损失函数转变、稀疏门控与条件计算
  • MoE 进化史：GShard → Switch Transformer → Mistral 8×7B → DeepSeek-R1
  • Attention 加速番外：Flash Attention、稀疏 Attention、线性 Attention 与 SSM 三条路线
  • 代码实战：把 Llama2 改造成 MoE 架构
Transformer vs Llama 架构
RoPE 旋转位置编码
MoE 层与门控路由
DeepSeekMoE 专家隔离
PPT2 Notebooks作业+答案
C8

大模型推理与提示工程

从引擎到提示

  • 推理栈选型：Transformers（基础）、vLLM（工业级）、llama.cpp（平民）、SGLang（结构化 / Tool Use）
  • KV Cache：原理逐步拆解、为什么不缓存 Q、收益与代价；Batching 的重要性
  • 显存计算：权重之外的开销、KV Cache 预留、Llama-3-8B 实战估算与踩坑提醒
  • 提示工程四要素：角色、任务、约束、示例；Few-shot 原理与负样本技巧
  • 结构化输出：JSON / Function Call 在 Agent 时代的关键性与从软到硬的优化措施
  • 错误恢复与重试、提示注入防护；六类典型场景（抽取 / 分类 / 改写 / 推理 / 工具调用 / 评测）
KV Cache 工作过程
PPT1 Notebook作业+答案
C9

语言模型测评方法与指标

大模型的"期末考试"

  • 困惑度 PPL：数学推导与 GPT-2 实测
  • 传统生成指标：BLEU 与 ROUGE 的原理与代码实战
  • 语义相似度：BERTScore 原理与实现
  • 综合测评：知名 Benchmarks 榜单与 LLM-as-a-Judge
  • 工具实战：LM Evaluation Harness（以 HellaSwag 常识推理为例）
  • 常用测评工具盘点与评测标准总结
PPT1 Notebook作业+答案
C10

NER 项目实战

从数据到模型落地（4 讲完整项目）

  • ① 概念与方案：NER 的价值、标注方法（BIO/BIOES）、三种主流套路（词典规则 / 序列标注 / 生成式）；指针网络与片段网络解决嵌套；PyTorch + BERT 序列标注模型搭建
  • ② 数据管道：文本规范化、标签表与词汇表自动构建、Dataset 定义、DataLoader 与 Collate Function 批处理
  • ③ 模型训练：Bi-GRU 模型搭建、变长序列与 pack_sequence 大坑、F1 计算、Trainer 封装与训练启动
  • ④ 评估与优化：实体级解码、为什么 Token 准确率会骗人、Predictor 推理器编写、对抗数据不均衡
PPT4 Notebooks作业+答案
Session 4 · 10 讲

大模型工程化与智能体开发

大模型全生命周期的工程实践：预训练炼丹、PEFT 微调、压缩量化、分布式训练与服务化部署，再到 RAG 检索增强、Agent 设计范式与通信协议、Agentic RL 自我进化，最后收束于行业趋势与职业发展路径。

Qwen2.5PEFT / LoRA / QLoRAGPTQ · AWQDeepSpeed ZeROLangChain · RAGMCP · A2A · ANPGRPO
C1

大模型预训练

从数据到智能的"炼丹"之旅

  • 预训练目标：自回归 CLM、掩码 MLM、片段破坏 Span Corruption
  • 分词器回顾与 CLM 训练数据构建演示
  • 数据治理（GIGO）：清洗、去重、去毒、重采样
  • 训练策略：Scaling Laws 缩放定律、批大小、学习率调度
  • 稳定训练护身符：梯度裁剪、混合精度、Checkpoint 与断点重启
  • 训练体检报告：PPL 与训练曲线解读
  • 完整实战：从零训练"斗破"风格小说模型——训练专属分词器、构建 Dataset、从 Nano 到 0.5B 架构、训练前后效果对比
PPT4 Notebooks作业+答案
C2

从通用到垂直：微调技术

PEFT 综述 + LoRA + QLoRA 实战（3 讲）

  • ① PEFT 综述：预训练-微调范式、全量微调的"富贵病"；提示工程 → PEFT 的思维跃迁；Adapter Tuning、Prefix Tuning、Prompt Tuning、P-Tuning v1/v2 进化史
  • ② LoRA 原理：低秩分解、旁路结构、三大优势；实践指南——该对哪些权重矩阵应用（广撒网优于钻深井）、秩 r 是否越大越好、LoRA 到底在学什么
  • ② 进阶：AdaLoRA（SVD 智能预算）与 QLoRA（显存奇迹）；PEFT 库实战——8-bit 量化加载、LoraConfig、训练、推理与权重合并
  • ③ Qwen2.5 实战：对话模板 Chat Template、摸底测试、用 AI 生成私有数据集、QLoRA 微调"黑神话"专属百科、效果评估与"要不要微调"的决策
LoRA 的低秩旁路
全量微调 / LoRA / QLoRA
Adapter Tuning
Model Tuning vs Prompt Tuning
PPT3 Notebooks作业+答案
C3

大模型压缩

模型瘦身术

  • 剪枝：非结构化 vs 结构化剪枝；PyTorch 剪枝代码示例
  • 知识蒸馏：Logits 层（模仿结论）、Feature 层（抄课堂笔记）、Relation 层（学价值观）三种教学手段；蒸馏损失函数实现
  • 为什么 DeepSeek-R1 的蒸馏小模型这么强
  • 量化：标尺与映射原理、动态量化 vs 静态量化、主流量化流派、离群值（Outliers）避坑
  • 实战：用 GPTQ 与 AWQ 量化 Qwen2.5 并验证效果
剪枝的三种粒度
逻辑层知识蒸馏
AWQ 显著权重量化
PPT1 Notebook作业+答案
C4

部署与优化策略

DeepSpeed 分布式 + FastAPI 上云（2 讲）

  • 分布式训练四策：数据并行 DP、张量并行 TP、流水线并行 PP、3D 混合并行
  • 训练显存"算账"：16 Bytes 定律
  • ZeRO 三阶段：切分优化器状态 → 切分梯度 → 全参数切分
  • ZeRO-Offload / ZeRO-Infinity：借用 CPU 内存与硬盘；DeepSpeed 配置与接入实战
  • FastAPI 部署：Pydantic 数据模型、NER 模型完整部署代码
  • 云端上线：阿里云 ECS 实战、uv 环境管理、Gunicorn + Systemd 生产级启动、开机自启与远程调用测试
ZeRO 三阶段显存对比
ZeRO-Infinity 分级存储
流水线并行
3D 混合并行
PPT2 Notebooks作业+答案
C5

RAG 技术全解析

附 LangChain 番外篇（2 讲）

  • 为什么需要 RAG：知识的分类与幻觉治理
  • 索引：文本切分策略（Chunking）、Embedding 模型选择与优化
  • 检索：稀疏检索 BM25 vs 稠密向量检索；MMR 多样性调优
  • 生成：构建严谨的指令模板
  • 工业级挑战：召回精度与响应速度权衡、多模态与复杂文档、RAGAS 评估框架
  • LangChain：Model I/O、Prompts、LCEL 链式表达；Document Loaders、Text Splitters、VectorStores、Memory；用 LCEL 重构 RAG
  • 深度思考：LangChain 的抽象地狱与选型建议
RAG 检索增强流程
稠密检索 vs 稀疏检索
PPT2 Notebooks作业+答案
C6

初识智能体 Agent

AI 也就是个"打工人"

  • 什么是智能体？核心公式与直观例子
  • 智能体的进化路径与思考机制
  • 智能体的分类体系
  • 动手实战：5 分钟写一个"旅游搭子"——工具箱、LLM Client、System Prompt、Agent 循环五步
  • Agent vs Workflow：什么时候该用哪个
智能体与环境的基本循环
感知 - 决策 - 行动
反应式 / 混合式 / 规划式智能体
PPT1 Notebook作业+答案
C7

智能体的思维模型与兵器谱

设计范式与框架地图（2 讲）

  • 智能体发展史：物理符号系统、专家系统与 SHRDLU、ELIZA
  • 五大设计模式：ReAct（边想边做）、Plan-and-Execute（项目经理）、Self-Ask（拆解大师）、Reflexion（反思）、Self-Consistency（自一致性）
  • 实战：带反思能力的 Agent——原生 Python 实现 vs LangChain 实现对比
  • 框架地图：LangChain（生态之王）、LangGraph（设计模式专家）、LlamaIndex（数据专家）、AutoGen（多智能体）、crewAI（角色扮演）与选型决策
  • 三大范式亲手搭建：ReAct 侦探模式、Plan-and-Solve 建筑师模式、Reflection 反思模式
ReAct 循环
Reflexion 反思机制
Plan-and-Execute
AI Agents 技术栈全景
PPT2 Notebooks
C8

从零搭建 Agent 框架与通信协议

上帝视角 + 低代码 + 协议（3 讲）

  • ① 从零构建框架：LLM Wrapper 通用大脑接口 → 记忆系统 → Agent 基类 → 工具注册表与 ReActAgent → 多智能体协作 → 安全沙箱与权限
  • ② 低代码平台实战：Coze（每日 AI 简报助手，RSS/GitHub/arXiv 插件）、Dify（超级私人助理编排）、n8n（智能邮件客服流水线）；三平台选型对比
  • ③ 通信协议：为什么需要协议——可怕的"接口地狱"
  • MCP：Agent 的万能转换头、一键接入工具、社区生态；亲手打造 MCP 服务器并发布到 Smithery
  • A2A（Agent 间直聊）与 ANP（服务注册与发现）实战
MCP 协议架构
A2A 协议
ANP 服务发现
Dify 低代码平台
PPT3 Notebooks
C9

Agentic RL 入门

让 Agent 拥有自我进化超能力

  • 大模型三阶段：预训练（义务教育）→ SFT（技能培训）→ RL（社会历练）
  • 传统 RLHF vs Agentic RL：做单选题 vs 玩通关游戏
  • 数据集与奖励函数：GSM8K 数学题库；准确率奖励、长度惩罚、步骤奖励；自定义 Dataset 与 Reward Function
  • 第一阶段 SFT：LoRA 显存外挂、一键启动训练、训练体检报告与成果检验
  • 第二阶段 GRPO：为什么告别笨重的 PPO、启动训练、监控"心电图"与翻车急救手册
  • 评估复盘：三大体检指标、错题本分析与对症下药
  • 端到端流水线：工业级训练脚本、超参调优、多卡分布式；LoRA 权重合并 → 8-bit 量化 → FastAPI 服务化上线
预训练 → SFT → RL 三阶段
Agentic RL 的六大能力
SFT 与 RL 的训练链路
PPT1 Notebook
C10

大航海时代：趋势与就业指南

课程收官

  • 此时此刻，世界正在发生什么
  • 三大技术趋势：Copilot → Autopilot、Agent 吃掉传统软件、从卷底层模型到卷行业落地（AI+ 交叉学科）
  • AI 时代的就业地图、各门派日常与避坑指南
  • 面试官在找什么：工程化落地能力、Prompt 思维与任务拆解、跨界理解力
  • 高频面试题与答题思路
  • 专属"3 个月打怪升级"通关路线图与课后资源
趋势：Agent 吃掉传统软件
趋势：从卷模型到卷行业落地
具身智能发展阶段
PPT1 Notebook