关于这个博客
这个博客会主要记录我对 AI 论文、算法思想和工程实践的理解。 我希望每篇文章都尽量回答三个问题： 这篇论文或技术真正解决了什么问题？ 它的核心假设、方法设计和实验结论是否站得住？ 如果把它放到真实系统或后续研究里，它给我的启发是什么？ 后续内容会以论文阅读、方法拆解、实验复现、工程经验和研究想法为主。相比只摘录结论，我会更重视自己的判断：哪里简单有效，哪里可能被过度包装，哪里值得继续追。 一
Siyu Chen
后训练笔记 05：OPD，On-Policy Distillation
这一篇整理 OPD，也就是 On-Policy Distillation。 OPD 是近期后训练里很值得关注的一条路线。它和 GRPO / RLVR 的目标有些相似：都想让模型在自己的生成分布上变强。但它给训练信号的方式不一样。 GRPO 通常是： student 自己生成 response，然后 verifier / reward model 给一个 scalar rewa
后训练笔记 04：GRPO 变体与 KTO
这一篇整理 GRPO 的变体，以及 KTO。 这里需要先区分一下：KTO 不是 GRPO 的变体。它更像 DPO 同一类的 direct alignment 方法。之所以放在这一篇，是因为它属于“PPO/GRPO 之外的后训练目标改造”，而且经常和 DPO、IPO、ORPO 放在一起比较。 所以这一篇分成两条线： GRPO 变体：围绕 RLVR 里的 group sampling、ad
后训练笔记 03：PPO、DPO 与 GRPO
这一篇整理 PPO、DPO 和 GRPO。 这三个方法经常一起出现，但它们解决的问题不完全一样。 PPO 是经典 RLHF 路线里的 policy optimization 方法。 DPO 是直接从偏好对里学习，不显式训练 reward model，也不跑在线 RL。 GRPO 是 reasoning model 里很常见的 RLVR 方法，用同一个 prompt 下的一组 responses 做
后训练笔记 02：SFT 与 PEFT
这一篇整理 SFT 和 PEFT。 在大模型后训练里，SFT 通常是第一步。Base model 经过大规模预训练后，已经学到语言、知识和模式，但它不一定会按指令回答。SFT 的作用就是先把模型拉到一个“能正常当助手”的状态。 PEFT 则是另一类问题：模型太大，全参数微调成本太高，所以只训练很少一部分参数，让模型适配新任务。 这篇把两件事放一起看： SFT 解决“训练什么行为”，PEFT 解决
后训练笔记 01：强化学习基础
这一篇先整理后训练里会用到的强化学习基础。 大模型后训练里的 RL 和传统 RL 不太一样。传统 RL 常见场景是 agent 在环境里反复交互，比如机器人控制、游戏、推荐系统。LLM 后训练里的“环境”往往更窄：给一个 prompt，模型生成 response，然后由人类偏好、reward model、规则 verifier、测试用例或者答案匹配器给出反馈。 所以这里不用先背完整 RL 教材。先
现代大模型笔记 06：多模态模型，图像、视频和音频怎么接进 LLM
这一篇整理多模态模型。 多模态模型经常被描述成“模型能看图、看视频、听音频”。但从结构上看，问题其实是： 怎么把不同模态的信息变成 LLM 能处理的 representation。 LLM 本来处理的是 token sequence。图像、视频、音频不是离散文本 token，所以要先经过编码、投影、对齐，再接入语言模型。 1. VLM 的基本结构一个典型 vision-language mod
现代大模型笔记 05：Post-training，SFT、DPO、GRPO 到 RL 推理
这一篇整理 post-training。 Pretraining 让模型学会语言、知识和模式，但一个 pretrained base model 通常不是好用的助手。它可能会续写问题、模仿网页文本、输出不稳定格式，也不一定遵循用户指令。 Post-training 的目标是把 base model 变成更符合使用需求的模型。 可以先用一句话区分： Pretraining 学“世界和语言的统计结构