Siyu Chen

后训练笔记 04：GRPO 变体，从归一化、ratio 到 group-aware reward

GRPO 之后出现了很多相关的改进算法。 这篇文章围绕四个问题整理 GRPO 变体： reward 如何变成 advantage； token loss 如何聚合与归一化； importance ratio 在什么粒度上计算，surrogate 又如何约束 policy shift； 哪些 prompt、response 和 token 真正进入梯度。 按照这个坐标系，本文精读六项代表性工作：
后训练笔记
#笔记 #后训练 #GRPO #DAPO #Dr.GRPO #CISPO #GSPO #SAPO #GAPO

后训练笔记 02：强化学习基础

大模型后训练里的 RL 和传统 RL 不太一样。传统 RL 常见场景是 agent 在环境里反复交互，比如机器人控制、游戏、推荐系统。LLM 后训练里的“环境”往往更窄：给一个 prompt，模型生成 response，然后由人类偏好、reward model、规则 verifier、测试用例或者答案匹配器给出反馈。 有一说一，传统RL学起来真有点绕脑子的😓
后训练笔记
#笔记 #后训练 #强化学习 #RLHF #RLVR

推荐系统笔记 01：推荐系统概述

本篇整理推荐系统的整体框架，主要是”王树森推荐系统“的课程笔记 推荐系统看起来是在回答一个很简单的问题： 这个用户接下来可能喜欢什么？ 但真正落到工业系统里，它不只是一个模型问题。它同时是数据问题、检索问题、排序问题、评估问题，也是一个非常强的工程系统问题。 比如短视频、广告、电商、新闻流、音乐、论文推荐，它们表面上都在推荐 item，但目标并不完全一样： 短视频可能更关心观看时长、完播、互
推荐系统笔记
#笔记 #推荐系统 #召回 #排序 #CTR #CVR #序列建模

后训练笔记 01：SFT 与 PEFT

本篇介绍SFT 和 PEFT。 在大模型后训练里，SFT 通常是第一步。Base model 经过大规模预训练后，已经学到语言、知识和模式，但它不一定会按指令回答。SFT 的作用就是教模型遵从指令 PEFT则是SFT的一种解法（即parameter efficient fine-tuning：模型太大，全参数微调成本太高，所以只训练很少一部分参数，让模型适配新任务。
后训练笔记
#笔记 #后训练 #SFT #LoRA #Prefix Tuning #P-Tuning #PEFT