意昂官方旗舰店

　　猫眼电影记者 郑利帮 报道Q8X2R7L1T4J5M9B6W3

机器之心发布

当推荐系统遇上大模型范式，广告变现的天花板被再次打破。快手提出 GR4AD，作为国内生成式推荐在大规模广告场景下的首次全量落地，实现广告收入提升 4.2%，服务 4 亿 + 用户。

论文链接：https://arxiv.org/pdf/2602.22732

一、引言："推荐该怎么做" 的新范式

过去十年，深度学习推荐模型（DLRM）几乎统治了整个工业界的推荐系统 —— 从召回到排序，从特征交叉到序列建模，它们构建了一套成熟而稳固的技术栈。然而，当大语言模型（LLM）的浪潮席卷而来，一个大胆的问题被抛了出来：

能不能像生成文本一样，直接 "生成" 推荐结果？

这就是生成式推荐（Generative Recommendation）的核心思想。以 TIGER、OneRec 为代表的一系列工作，已经在自然推荐场景中验证了这一范式的可行性。但当战场转移到大规模广告系统—— 这个对时延、收益、商业价值都有极致要求的领域 —— 事情变得远没有那么直接。

快手的这篇论文，正是对这一问题交出的一份沉甸甸的工业级答卷。他们提出了GR4AD（Generative Recommendation for ADvertising），一个横跨表征、学习、服务三大层面协同设计的生成式广告推荐系统，并已全量部署于快手广告平台，服务超过 4 亿用户

二、问题与挑战：广告场景下的三大挑战

论文开篇就旗帜鲜明地指出：直接把 LLM 那套训练和推理范式搬到广告推荐上，是行不通的。 具体来说，广告场景存在三个独有的核心挑战：

挑战一：广告物料的 Token 化 —— 多元信息的统一编码

广告不是普通的短视频。一条广告背后融合了视频创意、商品详情、广告主 B 端元数据等多模态、多粒度信息。更棘手的是，平台还提供了转化类型、广告账户等关键业务信号，这些信号具备强烈的商业价值但几乎没有 "语义内容" 可言。如何为广告物料打造一套既能捕获语义内容、又能编码业务信息的统一 Token 体系

挑战二：学习范式 —— 面向商业价值的列表级优化

广告推荐的优化目标不是 "猜中用户会点哪个" 那么简单，而是要在eCPM 排序、NDCG 等列表级指标下最大化商业价值。现有的生成式推荐方法大多沿用 LLM 的分阶段训练方式，不完全适配大规模推荐场景的持续在线学习，且缺乏面向排序的、列表级的学习设计。

挑战三：实时服务 —— 多候选生成的算力困局

不同于 LLM 聊天场景中 "解码一条回复、容忍较长延迟" 的模式，广告系统需要在极高 QPS 和极低延迟（<100ms）下，通过 Beam Search同时生成大量高质量候选。这是一个与 LLM 不同的推理优化问题。

三、方法：全链路协同设计的破局之道

GR4AD 的方法论可以用一句话概括:"表征 - 学习 - 推理" 三位一体的推荐原生设计。 下面逐一拆解。

3.1 统一广告语义 ID（UA-SID）：给广告一个 "身份证"

核心思想：用一个端到端微调的多模态大模型（MLLM）为每条广告生成统一嵌入，再通过精心设计的量化方法将其编码为离散 Semantic ID。

第一步：统一广告嵌入（UAE）

指令微调（Instruction Tuning）：针对快手广告的 6 种典型形态（直播、商品、达人等），设计了 6 套提示模板，引导 MLLM 从不同视角理解广告内容。比如对直播类广告，引导模型分析主播画像和地域特征；对外部投放广告，则聚焦产品行业和品牌信息。共现学习（Co-occurrence Learning）：用户行为中的共现关系蕴含了丰富的协同信号。论文使用 Swing 方法估计物料共现强度，并采用 InfoNCE 对比学习目标将其注入表征：

第二步：MGMR RQ-Kmeans 量化

这是 UA-SID 的 "杀手锏"。论文提出了多粒度 - 多分辨率（Multi-Granularity-Multi-Resolution）的 RQ-Kmeans 量化策略：

多分辨率（MR）：低层级使用更大的码本捕获主导语义因子，高层级用较小码本建模低熵残差，有效提升码本利用率。多粒度（MG）：在最后一层用基于非语义特征的哈希映射替代向量量化 —— 将转化类型、账户 ID 等业务信号直接编码进 SID，一举解决 "相同内容、不同投放策略" 导致的 SID 碰撞问题。

最终每个广告物料被映射为一个离散 UA-SID 序列：

3.2 LazyAR：懒惰解码器的大智慧

生成式推荐在推理时需要通过 Beam Search 生成多个候选 SID 序列。标准自回归解码要求每一层都依赖上一步的输出，这在 Beam 数很大时造成了巨大的计算瓶颈。

论文的一个关键观察是：第一层 SID 最难学、损失最大，但它的 Beam 只有 1（从 BOS 开始）；后续层级更容易，Beam 却呈指数级膨胀。 大部分计算被浪费在了 "简单的事情" 上。

LazyAR 的核心操作： 将对上一步 token 的依赖 "延迟" 到中间某一层（第 K 层）注入：

前 K 层（并行层）：不依赖上一步 token，仅基于位置编码和上下文 X 进行计算，所有层级和所有 Beam 可以并行计算并共享后 L-K 层（自回归层）：注入上一步 SID 嵌入后进行标准自回归解码。

为什么 LazyAR 有效？

1. 第一层 SID 的解码过程完全不受影响（从 BOS 经过全部 L 层）。

2. 前 K 层在潜空间中进行推理，能编码关于候选 token 的有用信号。

3. 引入 MTP 辅助损失，强制前 K 层即使没有上一步 token 也能学到足够信息。

论文特别指出：这个设计是推荐原生的，不适用于标准 LLM 解码 —— 因为 LLM 解码通常不用 Beam Search，且后续 token 的预测难度不一定下降。

3.3 价值感知的监督学习（VSL）

在广告场景中，不同样本的商业价值天差地别。VSL 围绕 "价值感知" 做了三件事：

①SID + eCPM 联合预测： 在标准 SID 交叉熵损失之外，将 eCPM 离散化为桶并追加为额外的预测 token：

②价值感知样本加权： 每个样本的权重 ，高广告价值用户和深度交互行为（如购买）获得更高权重。

③MTP 辅助损失： 配合 LazyAR，强制前 K 层并行解码的表征质量。

最终 VSL 目标：

3.4 排序引导的强化学习（RSPO）：从 "学分布" 到 "优排序"

VSL 能拟合历史数据分布，但它不直接优化下游排序目标，也不支持对未知标签分布的探索。论文因此引入了 RSPO（Ranking-Guided Softmax Preference Optimization），一个面向列表级 NDCG 优化的 RL 算法

RSPO 的核心 loss

几个精妙的工程设计：

VSL 与 RSPO 的统一在线训练：通过样本级对齐分数动态调整两个目标的权重 —— 模型排序与奖励排序偏差大时加重 VSL（学好基础分布），偏差小时加重 RSPO（精细化价值优化）。

四、线上部署：工业级系统的全闭环设计

GR4AD（0.16B 参数）已全量部署于快手广告系统，实现了一套 “奖励估计 → 在线学习 → 实时索引 → 实时服务” 的完整闭环。

4.1 四大核心？

奖励系统（Reward System）：训练独立的 Reward Model 对 GR4AD 生成的候选集进行 eCPM 评分，在放松延迟约束的环境下进行更大 Beam 的探索，为 RL 训练提供高质量信号。在线学习？：实时构建 VSL 和 RL 两种训练信号，持续进行 mini-batch 更新，实时推送参数到推理服务。实时索引？椋河 SID 替代传统嵌入索引。新物料到达时只需计算 UA-SID 并更新双向索引（UA-SID ? Item ID），秒级生效，大幅改善冷启动覆盖和时效性。实时服务引擎：处理用户请求并返回排序广告列表。

4.2 推理效率优化：把算力用在刀刃上

动态 Beam 服务（DBS）是本文的又一亮点，包含两个子机制：

动态 Beam 宽度（DBW）：用递增的 Beam 调度（如 128→256→512）替代固定宽度（512→512→512），在不损失最终候选质量的前提下大幅削减中间层计算。流量感知自适应 Beam 搜索（TABS）：根据实时 QPS 自动调整 Beam 规模 ——低峰期加大 Beam 提升推荐质量，高峰期收缩 Beam 保障延迟和吞吐

此外还有一系列工程优化：Beam 共享 KV Cache：将 Beam 从 batch 维度转移至序列维度进行组织，实现 KV Cache 的共享，显著提升内存访问效率（+212.5% QPS）、TopK 预裁剪：先并行选取每个 Beam 的 K 个候选结果，再对聚合候选集进行全局 Top-K 选择，在有效缩减搜索空间的同时保证准确性（+184.8% QPS）、FP8 低精度推理（+50.3% QPS）、短 TTL 结果缓存（+27.8% QPS）。

最终效果:<100ms 延迟，500+ QPS/L20 GPU

五、实验效果：广告收入和推理性能的双赢

5.1 总体性能与消融实验

几个关键发现：

RSPO 是所有优化中增益最大的单一组件，显著优于 DPO 和 GRPO，验证了列表级 RL 在广告场景的不可替代性。LazyAR 以极微小的精度代价换来了吞吐量翻倍，是实际部署的关键使能技术，优于 DeepSeek-MTP。DBS 在不损失收益的前提下进一步提升了效率，TABS 机制在低峰期还能反向提升收入。

5.2 Scaling Law

模型规模方向：从 0.03B 到 0.32B，收入提升从 + 2.13% 单调增长到 + 4.43%，训练损失也持续下降。生成式广告推荐的 Scaling Law 是成立的

推理规模方向：Beam 宽度从 128 增加到 1024，收入从 + 2.33% 提升到 + 4.21%。这意味着更强的推理时搜索能进一步释放模型潜力—— 这与当前 LLM 领域 Test-time Scaling 的趋势遥相呼应。

5.3 UA-SID 质量

在嵌入质量评估（photo-to-photo recall）中，经过指令微调和共现学习的 UAE 达到了 R@1=0.896，远超基线 QARM（0.541）和原始 Qwen3-VL-7B（0.769）。MGMR 量化将 SID 碰撞率从 85.44% 降至 18.26%，码本利用率提升 3 倍以上。

5.4 商业指标的全面胜利

商业化广告收入4.2%+中小广告主投放量提升17.5%广告转化率提升10.17%低活用户转化率提升7.28%

基于内容的 SID 带来的更强泛化能力和更实时的索引对冷启动物料的更好支持，实现了平台、广告主、用户的三赢

六、总结与思考

GR4AD 这篇论文的价值，不仅在于它达成了 4.2% 的收入提升这个数字，更在于它系统性地回答了一个关键问题：生成式推荐在广告这个最 "硬核" 的工业场景中，到底应该怎么做？

它的答案是：不要照搬 LLM，要做推荐原生的设计

Token 化不能只看内容语义，要把业务信号编码进去（UA-SID + MGMR）。训练不能只做单点概率生成，要做价值感知的列表级优化（VSL + RSPO）。推理不能只套用 LLM 加速技巧，要针对 "短序列、多候选、Beam Search" 的推荐特性做专门设计（LazyAR + DBS）。系统不能离线批处理，要做实时索引、在线学习、闭环反馈的全链路打通。

GR4AD 是生成式推荐走向广告工业核心场景的一个重要里程碑。 快手用超过 4 亿用户的真实流量验证了这条路径的可行性。可以预见，接下来会有更多广告平台跟进这一范式。

??时事1：一级婬片AAAAAA

??04月04日,南极中山站越冬队圆满完成任务,

　　今天是第_个“全国中小学安全教育日”，今年安全教育日的主题是“强化安全意识，提升安全素养”。

,这里只有精品 99re。

??04月04日,第75届黄金时段艾美奖颁奖 《继承之战》《熊家餐馆》《怒呛人生》胜出,

　　第一，文明守纪，成为有高雅气质的人。希望每一个同学都能严格遵守校纪校规，严格遵守教育教学秩序，养成讲文明，懂礼貌，守纪律，讲卫生的的良好习惯。对照学校的要求，意昂平台绝大多数的同学在教师的教育下，在自己的努力下，都取得了很大的进步，可是意昂平台发现还有一小部分同学还有差距。还有一些同学上课不专心听讲，影响教学秩序，还有一些同学随便乱扔纸屑影响校园环境，还有一些同学举止粗俗，不讲文明。老师希望这些同学能经常对照《小学生日常行为规范》的要求，不断自我反。晕揖来，自我矫正，重视品德修养和良好行为习惯的养成，文明守纪，做一个有高雅气质的人。

,狂野欧美激情性XXXX视频,第五人格被打光屁股的解决方法,一条绮美香见子巨支。

??时事2：日韩免费人成视频在线观看

??04月04日,受冻雨天气影响，2月1日北京南站部分始发终到列车停运,　　游盈隆表示，赖清德上任第一个月，只获不到半数台湾民众的支持，赖清德社会支持基础的流失是全面性的，不同程度的。游盈隆指出，根据相关经验证据，近一个月赖清德社会支持基础的流失主要原因至少有三：,欧美一级性交A,裸体 ai去衣,国产一级精品毛片性色AV大片。

??04月04日,2024年福州新春联欢晚会举行,

　　“我的妈呀，差点让本娃大口吐血啊。”鼻涕娃后怕，夸张的拍了怕胸脯。

,动漫妓女3d巨大吸乳,女同区二区毛片在线视频,欧美在线观看黄色网站。

??时事3：欧美日韩a级

??04月04日,习近平总书记在第四次“一带一路”建设工作座谈会上的重要讲话引发与会人员热烈反响,

　　“你很好，不要浪费掉自己的天资，等我醒来后，将会让你看到另一片不同的世界。”这是柳神对小不点一个人的叮嘱

,大熊和静香坡萝卜,胡桃奖励旅行者吃胡萝卜,老帅让我吃她胸摸她奶。

??04月04日,中国和古巴将于5月17日恢复直航，北上广居民搜索热情较高,

　　族长大声询问，它是否真的要将子嗣留在这里，结果那头青鳞鹰竟点了点头，而后以目光示意，看向三枚蛋，又看向老柳树。

,五十六十熟妇性视频,精品精品国产自在久国产,先锋自拍资源。

??时事4：国产特黄A片免费播放

??04月04日,刘斯奋艺文生涯七十年学术研讨会在穗举办,　　李鹏新严重违反党的政治纪律、组织纪律、廉洁纪律和生活纪律，构成严重职务违法并涉嫌受贿犯罪，且在党的十八大后不收敛、不收手，性质严重，影响恶劣，应予严肃处理。依据《中国共产党纪律处分条例》《中华人民共和国监察法》《中华人民共和国公职人员政务处分法》等有关规定，经中央纪委常委会会议研究并报中共中央批准，决定给予李鹏新开除党籍处分；由国家监委给予其开除公职处分；收缴其违纪违法所得；将其涉嫌犯罪问题移送检察机关依法审查起诉，所涉财物一并移送。,性交AA片,啊啊啊啊啊用力,一区二区中文在线观看。

??04月04日,青海海东：多条政策措施落地 助房产市场持续“升温”,

　　“不好，那头青鳞鹰回去了，肯定发现三枚蛋不见了，要发狂了。”有孩子惊叫。

,夜色视频网,大黄片女人毛,狼友无码免费视频在线观看。