意昂官方旗舰店

　　猫眼电影记者 少年队 报道Q8X2R7L1T4J5M9B6W3

机器之心发布

当推荐系统遇上大模型范式，广告变现的天花板被再次打破。快手提出 GR4AD，作为国内生成式推荐在大规模广告场景下的首次全量落地，实现广告收入提升 4.2%，服务 4 亿 + 用户。

论文链接：https://arxiv.org/pdf/2602.22732

一、引言："推荐该怎么做" 的新范式

过去十年，深度学习推荐模型（DLRM）几乎统治了整个工业界的推荐系统 —— 从召回到排序，从特征交叉到序列建模，它们构建了一套成熟而稳固的技术栈。然而，当大语言模型（LLM）的浪潮席卷而来，一个大胆的问题被抛了出来：

能不能像生成文本一样，直接 "生成" 推荐结果？

这就是生成式推荐（Generative Recommendation）的核心思想。以 TIGER、OneRec 为代表的一系列工作，已经在自然推荐场景中验证了这一范式的可行性。但当战场转移到大规模广告系统—— 这个对时延、收益、商业价值都有极致要求的领域 —— 事情变得远没有那么直接。

快手的这篇论文，正是对这一问题交出的一份沉甸甸的工业级答卷。他们提出了GR4AD（Generative Recommendation for ADvertising），一个横跨表征、学习、服务三大层面协同设计的生成式广告推荐系统，并已全量部署于快手广告平台，服务超过 4 亿用户

二、问题与挑战：广告场景下的三大挑战

论文开篇就旗帜鲜明地指出：直接把 LLM 那套训练和推理范式搬到广告推荐上，是行不通的。 具体来说，广告场景存在三个独有的核心挑战：

挑战一：广告物料的 Token 化 —— 多元信息的统一编码

广告不是普通的短视频。一条广告背后融合了视频创意、商品详情、广告主 B 端元数据等多模态、多粒度信息。更棘手的是，平台还提供了转化类型、广告账户等关键业务信号，这些信号具备强烈的商业价值但几乎没有 "语义内容" 可言。如何为广告物料打造一套既能捕获语义内容、又能编码业务信息的统一 Token 体系

挑战二：学习范式 —— 面向商业价值的列表级优化

广告推荐的优化目标不是 "猜中用户会点哪个" 那么简单，而是要在eCPM 排序、NDCG 等列表级指标下最大化商业价值。现有的生成式推荐方法大多沿用 LLM 的分阶段训练方式，不完全适配大规模推荐场景的持续在线学习，且缺乏面向排序的、列表级的学习设计。

挑战三：实时服务 —— 多候选生成的算力困局

不同于 LLM 聊天场景中 "解码一条回复、容忍较长延迟" 的模式，广告系统需要在极高 QPS 和极低延迟（<100ms）下，通过 Beam Search同时生成大量高质量候选。这是一个与 LLM 不同的推理优化问题。

三、方法：全链路协同设计的破局之道

GR4AD 的方法论可以用一句话概括:"表征 - 学习 - 推理" 三位一体的推荐原生设计。 下面逐一拆解。

3.1 统一广告语义 ID（UA-SID）：给广告一个 "身份证"

核心思想：用一个端到端微调的多模态大模型（MLLM）为每条广告生成统一嵌入，再通过精心设计的量化方法将其编码为离散 Semantic ID。

第一步：统一广告嵌入（UAE）

指令微调（Instruction Tuning）：针对快手广告的 6 种典型形态（直播、商品、达人等），设计了 6 套提示模板，引导 MLLM 从不同视角理解广告内容。比如对直播类广告，引导模型分析主播画像和地域特征；对外部投放广告，则聚焦产品行业和品牌信息。共现学习（Co-occurrence Learning）：用户行为中的共现关系蕴含了丰富的协同信号。论文使用 Swing 方法估计物料共现强度，并采用 InfoNCE 对比学习目标将其注入表征：

第二步：MGMR RQ-Kmeans 量化

这是 UA-SID 的 "杀手锏"。论文提出了多粒度 - 多分辨率（Multi-Granularity-Multi-Resolution）的 RQ-Kmeans 量化策略：

多分辨率（MR）：低层级使用更大的码本捕获主导语义因子，高层级用较小码本建模低熵残差，有效提升码本利用率。多粒度（MG）：在最后一层用基于非语义特征的哈希映射替代向量量化 —— 将转化类型、账户 ID 等业务信号直接编码进 SID，一举解决 "相同内容、不同投放策略" 导致的 SID 碰撞问题。

最终每个广告物料被映射为一个离散 UA-SID 序列：

3.2 LazyAR：懒惰解码器的大智慧

生成式推荐在推理时需要通过 Beam Search 生成多个候选 SID 序列。标准自回归解码要求每一层都依赖上一步的输出，这在 Beam 数很大时造成了巨大的计算瓶颈。

论文的一个关键观察是：第一层 SID 最难学、损失最大，但它的 Beam 只有 1（从 BOS 开始）；后续层级更容易，Beam 却呈指数级膨胀。 大部分计算被浪费在了 "简单的事情" 上。

LazyAR 的核心操作： 将对上一步 token 的依赖 "延迟" 到中间某一层（第 K 层）注入：

前 K 层（并行层）：不依赖上一步 token，仅基于位置编码和上下文 X 进行计算，所有层级和所有 Beam 可以并行计算并共享后 L-K 层（自回归层）：注入上一步 SID 嵌入后进行标准自回归解码。

为什么 LazyAR 有效？

1. 第一层 SID 的解码过程完全不受影响（从 BOS 经过全部 L 层）。

2. 前 K 层在潜空间中进行推理，能编码关于候选 token 的有用信号。

3. 引入 MTP 辅助损失，强制前 K 层即使没有上一步 token 也能学到足够信息。

论文特别指出：这个设计是推荐原生的，不适用于标准 LLM 解码 —— 因为 LLM 解码通常不用 Beam Search，且后续 token 的预测难度不一定下降。

3.3 价值感知的监督学习（VSL）

在广告场景中，不同样本的商业价值天差地别。VSL 围绕 "价值感知" 做了三件事：

①SID + eCPM 联合预测： 在标准 SID 交叉熵损失之外，将 eCPM 离散化为桶并追加为额外的预测 token：

②价值感知样本加权： 每个样本的权重 ，高广告价值用户和深度交互行为（如购买）获得更高权重。

③MTP 辅助损失： 配合 LazyAR，强制前 K 层并行解码的表征质量。

最终 VSL 目标：

3.4 排序引导的强化学习（RSPO）：从 "学分布" 到 "优排序"

VSL 能拟合历史数据分布，但它不直接优化下游排序目标，也不支持对未知标签分布的探索。论文因此引入了 RSPO（Ranking-Guided Softmax Preference Optimization），一个面向列表级 NDCG 优化的 RL 算法

RSPO 的核心 loss

几个精妙的工程设计：

VSL 与 RSPO 的统一在线训练：通过样本级对齐分数动态调整两个目标的权重 —— 模型排序与奖励排序偏差大时加重 VSL（学好基础分布），偏差小时加重 RSPO（精细化价值优化）。

四、线上部署：工业级系统的全闭环设计

GR4AD（0.16B 参数）已全量部署于快手广告系统，实现了一套 “奖励估计 → 在线学习 → 实时索引 → 实时服务” 的完整闭环。

4.1 四大核心？

奖励系统（Reward System）：训练独立的 Reward Model 对 GR4AD 生成的候选集进行 eCPM 评分，在放松延迟约束的环境下进行更大 Beam 的探索，为 RL 训练提供高质量信号。在线学习？：实时构建 VSL 和 RL 两种训练信号，持续进行 mini-batch 更新，实时推送参数到推理服务。实时索引？：用 SID 替代传统嵌入索引。新物料到达时只需计算 UA-SID 并更新双向索引（UA-SID ? Item ID），秒级生效，大幅改善冷启动覆盖和时效性。实时服务引擎：处理用户请求并返回排序广告列表。

4.2 推理效率优化：把算力用在刀刃上

动态 Beam 服务（DBS）是本文的又一亮点，包含两个子机制：

动态 Beam 宽度（DBW）：用递增的 Beam 调度（如 128→256→512）替代固定宽度（512→512→512），在不损失最终候选质量的前提下大幅削减中间层计算。流量感知自适应 Beam 搜索（TABS）：根据实时 QPS 自动调整 Beam 规模 ——低峰期加大 Beam 提升推荐质量，高峰期收缩 Beam 保障延迟和吞吐

此外还有一系列工程优化：Beam 共享 KV Cache：将 Beam 从 batch 维度转移至序列维度进行组织，实现 KV Cache 的共享，显著提升内存访问效率（+212.5% QPS）、TopK 预裁剪：先并行选取每个 Beam 的 K 个候选结果，再对聚合候选集进行全局 Top-K 选择，在有效缩减搜索空间的同时保证准确性（+184.8% QPS）、FP8 低精度推理（+50.3% QPS）、短 TTL 结果缓存（+27.8% QPS）。

最终效果:<100ms 延迟，500+ QPS/L20 GPU

五、实验效果：广告收入和推理性能的双赢

5.1 总体性能与消融实验

几个关键发现：

RSPO 是所有优化中增益最大的单一组件，显著优于 DPO 和 GRPO，验证了列表级 RL 在广告场景的不可替代性。LazyAR 以极微小的精度代价换来了吞吐量翻倍，是实际部署的关键使能技术，优于 DeepSeek-MTP。DBS 在不损失收益的前提下进一步提升了效率，TABS 机制在低峰期还能反向提升收入。

5.2 Scaling Law

模型规模方向：从 0.03B 到 0.32B，收入提升从 + 2.13% 单调增长到 + 4.43%，训练损失也持续下降。生成式广告推荐的 Scaling Law 是成立的

推理规模方向：Beam 宽度从 128 增加到 1024，收入从 + 2.33% 提升到 + 4.21%。这意味着更强的推理时搜索能进一步释放模型潜力—— 这与当前 LLM 领域 Test-time Scaling 的趋势遥相呼应。

5.3 UA-SID 质量

在嵌入质量评估（photo-to-photo recall）中，经过指令微调和共现学习的 UAE 达到了 R@1=0.896，远超基线 QARM（0.541）和原始 Qwen3-VL-7B（0.769）。MGMR 量化将 SID 碰撞率从 85.44% 降至 18.26%，码本利用率提升 3 倍以上。

5.4 商业指标的全面胜利

商业化广告收入4.2%+中小广告主投放量提升17.5%广告转化率提升10.17%低活用户转化率提升7.28%

基于内容的 SID 带来的更强泛化能力和更实时的索引对冷启动物料的更好支持，实现了平台、广告主、用户的三赢

六、总结与思考

GR4AD 这篇论文的价值，不仅在于它达成了 4.2% 的收入提升这个数字，更在于它系统性地回答了一个关键问题：生成式推荐在广告这个最 "硬核" 的工业场景中，到底应该怎么做？

它的答案是：不要照搬 LLM，要做推荐原生的设计

Token 化不能只看内容语义，要把业务信号编码进去（UA-SID + MGMR）。训练不能只做单点概率生成，要做价值感知的列表级优化（VSL + RSPO）。推理不能只套用 LLM 加速技巧，要针对 "短序列、多候选、Beam Search" 的推荐特性做专门设计（LazyAR + DBS）。系统不能离线批处理，要做实时索引、在线学习、闭环反馈的全链路打通。

GR4AD 是生成式推荐走向广告工业核心场景的一个重要里程碑。 快手用超过 4 亿用户的真实流量验证了这条路径的可行性。可以预见，接下来会有更多广告平台跟进这一范式。

??时事1：欧美成年黄色网站

??04月06日,收到陌生快递还能扫码领钱？别信！已有多人被骗,

　　七年级新同学步入中学，就是人生中的一个新起点，中学阶段是人生历程中十分关键的重要阶段，希望同学们珍惜这最为珍贵的年华，在老师的指导下，严格遵守学校规章制度，学会学习，学会做人，明确目标，珍惜时间，把在小学阶段养成的好作风、好纪律、好品质带到你们的学习和生活中，为今后的发展奠定扎实的基础。

,成人韩国小说汉化版官网入口。

??04月06日,张青松任中国投资有限责任公司党委书记,

　　“这是太古的狻猊始祖留在淡金色宝血中的烙印碎片，成为了眼前这头遗种的神性源泉。”有族老稳住心神后叹道。

,久久黄色免费黄片,影音先锋 在线看片资源,欧美黄片小视频在线免费观看。

??时事2：妈妈帮你打脚枪

??04月06日,国台办：2023年与台湾政党、团体、代表性人士开展交流对话取得积极成果,

　　全体干部职工、各位退休老同志和家属朋友们：

,国产永久色网站,www.77777777777,美女又爽 又黄 免费跳舞孕妇。

??04月06日,西湖遇见敦煌 94岁“敦煌少女”常沙娜新书杭州首发,

　　二、我镇机关干部作风中存在的突出问题

,www.2a8903.com,超碰老妇女一区二区,国产av激情演绎。

??时事3：XxXxVIDeos绝顶高潮

??04月06日,首趟江西瑞金—美国洛杉矶全程铁海联运班列开通运营,

　　第一个问题就是思想观念的问题，。就是到目前为止，还有相当部分职工对当前 教育面临的形势和任务没有清醒认识，或者有了一定认识但认识还不够深刻。主要表现在三种意识还比较淡。皇俏；馐，二是责任意识，三是质量意识。从行为习惯来看表现在：有少数教职工劳动纪律松弛，经常出现迟到、早退现象，更有个别存在旷课的情况。对待工作总是强调个人困难，不考虑学校需要和 职业要求;对待学生，不是耐心引导，而是讽刺挖苦，体罚或变相体罚;对待同事不是友好相处，而是制造谣言肆意传播影响团结。有的人只为自己考虑,站在自己的立场。总希望考勤松一点、工作时间短一点、收入高一点。我能回答的三个一点那就是要想收入高一点，请你废话少说点,责任心强一点,效率高一点。要想把学校工作搞好，全体教职工一定要相互团结，牢固树立三种意识，并从自身做起，按照教师职业道德要求履行好自己的工作职责。

,久久色有精品视频,日韩小草在线,国产不卡视频。

??04月06日,中央政法工作会议：深入推进电信网络诈骗犯罪打击整治,

　　“有古怪，遭遇了大劫，于毁灭中新生，仅有的一条嫩芽一定是至宝！”又有人开口。

,人人妻人人爽人人爽欧美一区91,黄片AAAAAAAAAAAAA,免费无遮挡 漫画。

??时事4：视频丨9l 丨乱辈

??04月06日,【东西问】白先勇：青春版《牡丹亭》何以青春？,

　　至此，小不点头顶上方三寸处，身体左侧以及右侧，形成三座灰褐色的火山口，源源不断的从虚空中汲取力量，红色、银色、紫色的“岩浆”涌动，没入他的躯体中。

,绯色回响18+黄化,sejjzzcom,免费观看A级片。

??04月06日,平遥古城“亮相”美国最大旅游展会 展示中国文化魅力,

　　“子陵，杀够了吗，气可出了出了一些？”前方一群人出现，说话的正是“老五”，浑身赤霞澎湃，宛若一尊涅槃的血凰，而眸子是金色的，跟两盏金灯似的。

,亚洲AV一区二区国产精品,中国免费AAAAA,黄色网站,99福利在线。