ANT GROUP
INTERN CONVERSION REVIEW
2026.09
段墨(段欣然)

内容安全统一
大模型模块能力建设

暑期实习生转正答辩 · 机器智能 · 安全内容智能

CURRENT ROLE蚂蚁集团大安全
算法实习生 · 主管 夜兰
EDUCATION北京师范大学
计算机硕士
段墨个人照片
ABOUT MEGPA 4.0 / 4.0 · Rank 1 / 71
EMNLP 2026 · ICLR 2026
01 / 05
PROFILE / EXPERIENCE

个人背景与项目经历

多模态大模型安全与风控后训练与能力蒸馏数据构造Agent 工作流
蚂蚁集团
大安全

参与安全统一模型 V3 合训,负责短剧数据构造与 SFT 训练评测。在 SFT 阶段推进密集 Caption 数据优化,并针对上线约 2% 的打扰率探索 Rubric RL。

快手
主站技术部

面向短剧热点挖掘,生成带时间定位、跨章节一致的剧情描述。CausalChapter 同骨干 CIDEr +21.52,第一作者录用 EMNLP 2026 主会。

字节跳动
CQC

定位同一风险域内音视频分布异质造成的训练退化。接入自动聚类、分群训练与评测迭代,负责风险域提升 4 个点,全程无需人工分类。

面壁智能
AI4Science

面向科研论文与书籍,设计递归知识结构化 Agent。支持自底向上聚合和 Outline 引导补全,较 Vanilla RAG 平均提升约 6 个点。

教育部
高教司课题

搭建教师定位、轨迹、视线、骨骼动作与表情分析方案。入选首批“人工智能+高等教育”典型案例,一作论文录用《计算机科学》。

02 / 05
PROJECT FRAMEWORK / TRAINING & ITERATION

项目框架|安全统一模型的分阶段训练与迭代链路

面向不同风险域与专项能力,通过分阶段训练、能力融合和评测回流,形成可统一部署并持续迭代的安全多模态模型。

模型训练框架与我的工作范围橙色描边为我负责的数据与治理环节
基础能力准备
BASE基座模型

通用多模态基础能力

S1去安全对齐

恢复基础能力

S2安全知识 CPT

注入安全知识与规范

→
S3 · 八类专项专家能力建设专家参考与教师分布
细粒度感知视频理解对抗 OCR复杂图文策略遵循富文本多图理解更多方向
专家参考 ↓教师分布 ↓

S4 · SFT

安全知识问答

安全概念与规则知识

专项能力数据

专项任务监督样本

业务指令数据

动态规则与审核推理

业务视觉监督补充

密集视觉事实覆盖

多类训练数据在 SFT 阶段统一混合
本阶段工作重点业务指令提供规则判断监督,业务视觉监督补充提供更完整的视觉事实。
↓SFT 模型承接业务规则与视觉事实监督

S5 · MOPD

SFT 模型
× 多专项教师
承接 SFT 模型融合专家能力输出统一模型

多专项教师分布
引导统一建模

→
S6多模态事实性校准
事实性数据建设事实性 Benchmark跨模态事实对齐专项校准训练
MY WORK · SCAN白样本打扰数据扫描归因

发现误打扰并定位错误环节

MY WORK · OPTIMIZE白样本打扰抑制

构造针对性反馈并优化训练

校准后的模型进入统一部署
→
OUTPUT安全统一模型

多风险域、多专项能力
统一部署

↓
EVAL模型评测

业务准召、白样本打扰
与专项能力回归

线上问题驱动的独立回流优化
1DETECT线上抽检与模型评测发现误打扰、漏放等 badcase,按推理环节完成归因。
2CONSTRUCT把归因结果转为样本级 Rubric 与针对性监督,补齐事实性校准的数据缺口。
3ITERATE回流 S6 继续训练,回归通过后重新部署,形成可持续的问题闭环。
JOINT TRAINING ENTRY / SHORT DRAMA

业务实践|短剧业务指令数据的构造与训练效果

以自动圈选、动态规则和快慢思考模板构造可直接进入统一合训的业务指令数据,并在不同规模模型上验证收益。

从业务素材到可训练指令数据METHOD PIPELINE · SHORT DRAMA EXAMPLE
0数据自动圈选
计算跨模态语义相似度

匹配规则与图像、视频语义,筛选与规则相关的业务内容。

RULE未成年负面:早恋渲染 · 极端行为
ASR「谈恋爱被抓住」「我也不活了」
圈选规则↔视频语义相似度高 → 入池
1素材组织
读取圈选记录并抽帧

聚合单集或合集视频、ASR 与代表帧,形成多模态输入。

短剧单集抽帧示意帧串
METAitem_id ·《28岁未成年》· 单集
FRAME单集连续代表帧示意(最多 30 帧)
输入视频 + ASR + 帧 → 多模态素材包
2动态规则构造
生成成对审核口径

围绕同一素材构造不同规则边界,使结论由规则条件决定。

严格不得渲染未成年恋爱与跳楼 → 驳回
豁免教育语境且无可复制步骤 → 通过
成对同一素材双口径 · 驳回∶通过 1∶1
3推理轨迹生成
生成并校验 CoT

结合视觉内容与规则生成审核推理,过滤结论不一致的轨迹。

理解标题 28 岁,画面为校服与宿舍
比对细则 2·5·12 命中 · 豁免 1·3 不适用
校验结论与规则一致保留,不一致过滤
4SFT 格式化
组装快慢思考模板

将规则、ASR、视频帧与 CoT 转为可直接进入统一合训的数据。

user审核流程(规则)+ 30 帧 + ASR
assist内容理解 → 审核过程 → 审核结果
JSONL每集 4 条:驳回/通过 × 快/慢思考
输出数据

规则、视频帧与 ASR 作为多模态输入,模型回答包含可回溯的分析过程和审核结论,可直接写入 SFT 训练集。

业务指令样本 · JSONL
共构造 26K 业务指令数据DATA SCALE
21K 单集样本5K 合集样本
快思考慢思考驳回 / 通过 1 : 1
短剧业务评测ACCURACY / %
Lite
55.9380.24
+24.31pp
Base
69.1583.08
+13.93pp
Large
78.5382.66
+4.13pp
CORE PROJECT 01

SFT Stage|业务视觉信息补充

CORE WORK 01 / SFT OPTIMIZATION

项目动机|规则导向的问答对视觉信息监督并不充分

动态规则的业务指令数据 围绕文本规则和审核目标训练模型,同一张图中与当前问题无关的视觉信息很少进入监督。

底线-23092

色情多媒体展示

预测通过 · 错
底线审核原图
合训模型 · 审核内容解读

成年女性背对镜头站在窗边,身体未穿衣物,胸部、腹部、腿部等部位可见;但未见臀部大面积裸露且臀沟或裆部皮肤清晰可见,也未能清晰辨识敏感部位轮廓,最终判断通过。

问题归因 模型注意到人物裸露和臀腿区域,却没有识别轻薄透视衣物下可辨的臀部及裆部细节,遗漏了直接命中规则的视觉事实。
直播-4713

主播穿着风险

预测通过 · 错
直播审核关键帧
合训模型 · 审核内容解读

女性主播穿着无袖短上衣,腹部明显露出;但未见完整露出肚脐,因此判断不命中穿着风险。

问题归因 关键帧中肚脐完整可见,模型却只提取到宽泛的“腹部露出”,漏掉了能够直接命中规则的局部属性。
规则适配已经有效

同一图片匹配不同规则,模型能够随规则变化作出不同判断。

但视觉监督仍然局部

每条 QA 只围绕当前规则提供监督,画面中的其他对象、属性和关系很少进入训练。

需要补充视觉监督

让同一批业务素材提供更全面的图像信息,为不同规则保留可复用的视觉基础。

05 / 05
CORE WORK 01 / DENSE CAPTION

项目思路|动态规则的业务指令数据 与 Dense Caption 形成互补监督

业务指令数据 训练模型依据规则作出判断,Caption 补充画面中的可见事实。两类监督共同使用同一批业务图像和视频。

同一业务素材,两类互补监督

多规则业务指令数据

为同一素材替换审核规则并生成不同问答,使模型学习规则条件、风险边界与审核结论。

局部偏置

每条问答通常只监督一两个风险实体,未参与当前判断的对象、文字和关系很少进入答案。

Dense Caption

描述不依赖具体审核规则的可见事实,使同一份视觉证据能够被不同规则、风险域及后续专精训练复用。

小目标与局部属性人物与物体关系界面文字与状态视频事件与时序
TRAINING ORDER

Caption 纳入第一阶段业务 SFT

Caption 与业务 QA 一起训练,补充业务指令数据之外的视觉事实监督;后续专精训练与 MOPD 流程保持不变。

先

业务 SFT

多风险域业务指令数据 注入规则判断能力;Caption 使用同一批业务图像和视频补充视觉事实监督。

多风险域业务指令数据Dense Caption
CORE WORK 01 / RELATED WORK

方案调研|现有方案难以兼顾视觉覆盖、上下文与事实可控性

业务 Caption 同时要求视觉覆盖、上下文理解和可控汇总。现有方法各自只解决其中一部分。

DAM 展示局部细节和上下文之间的关系
LOCAL PERCEPTION

多粒度与局部感知

单独使用 紧裁剪丢失上下文,逐 Mask 描述重复、调用量大。

Pipeline 只路由易遗漏的小实例,用 Padding、吸收与组合保留上下文并减少调用。

Patch Matters · DAM · DenseWorld-1M
Visual Fact Checker 使用检测器与 VQA 核验 Caption
VISUAL EXPERTS

视觉专家与多源证据

单独使用 框、Mask 和标签难以表达开放业务语义,识别错误会传入最终描述。

Pipeline 视觉专家只负责定位,局部 MLLM 结合上下文生成自然语言。

Visual Fact Checker · attribute experts
CompreCap 按对象属性与关系分解 Caption
FACT ORGANIZATION

原子事实与结构化生成

单独使用 只能整理已识别的事实,补不回视觉遗漏,全量拆分成本高。

Pipeline CaptionUnit 组织局部增量,Claim Ledger 检查融合内容是否有来源支持。

CompreCap · CCCaption · DBD
整合思路 全图 Caption 提供叙事骨架。RAM++ 与 APE 找出容易遗漏的小实例,Router 通过吸收、组合和 Padding 构建 CaptionUnit。局部描述作为增量写回,并检查最终句子是否有来源支持。

论文原图:DAM · Visual Fact Checker · CompreCap

从现有圈选数据中提取密集视觉监督信号的 Dense Caption 数据构造流程
CORE WORK 01 / PIPELINE

从业务图像到 SFT 合训数据

全图描述保留整体叙事,局部链路补充容易遗漏的小实例。融合后的 Dense Caption 与业务 QA 一起进入第一阶段 SFT。

1. 候选区域生成与筛选从开放语义候选中保留值得补充描述的小实例
RAM++头巾 · 口琴
拖鞋 · 塑料袋
实例提议
APE 实例提议Mask · BBox
类别 · 置信度
几何去重
几何去重删除重复与重叠区域
小实例路由
小实例路由吸收嵌套目标
组合相邻目标
CaptionUnit
CaptionUnit保留必要上下文的局部任务
2. 全图描述建立叙事骨架
全图输入

老人倚墙坐在地上,手持物品靠近嘴边,脚边散落随身物品。

3. 局部描述Padding 提供语境,Mask 锚定目标,批量生成局部增量
上下文裁剪目标Mask
→

局部 Caption
老人将黑色口琴置于嘴边吹奏;深色头巾包裹头部;蓝色拖鞋与塑料袋位于脚边。

4. 全局锚定汇总以全图描述为骨架,只写入局部链路提供的新增事实
老人头戴深色头巾,倚墙坐在地上,正将黑色口琴置于嘴边吹奏;脚边可见蓝色拖鞋、塑料袋及其他小物件。
5. 来源忠实性验证逐句检查是否得到全局或局部来源支持
人物与场景口琴与动作脚边物体
6. 条件式改写

仅在发现无来源事实、重复或冲突时改写一次。

最终 Dense Caption

完整、细粒度、可追溯的视觉事实监督

+
多风险域业务 QA

规则条件、审核边界与业务结论

→
第一阶段 SFT 合训统一数据配比共同训练
→
安全统一多模态模型
核心改进 小实例选择性路由、上下文 Padding / 组合、Mask 指代,以及有来源约束的汇总。图像多样性筛选将在批量造数阶段接入。
CORE WORK 01 / LOCAL CAPTION

关键设计|上下文扩展、关联组合与 Mask 指代优化局部描述

Router 在构造 CaptionUnit 时扩展上下文并组合关联实例;局部 Caption 生成时再输入对齐 Mask,明确当前描述对象。

上下文扩展

ROUTER · CAPTIONUNIT
口琴紧裁剪TIGHT CROP · pipe
BEFORE

直接沿检测框裁剪。框偏移容易截断目标;即使框准,孤立小框也缺少动作与场景线索。

↓
保留人物嘴部与手部的口琴上下文裁剪PADDED CROP · 口琴
AFTER

沿目标边界保留人物嘴部、手部和持握动作,进一步识别为正在吹奏的口琴。

关联实例组合

ROUTER · CAPTIONUNIT
塑料袋紧裁剪木柄工具紧裁剪拖鞋紧裁剪
多个独立 REGION
BEFORE

相邻小目标分别裁剪和描述,对象关系被拆散,同时产生多次模型调用。

↓
人物脚边相关小物体的组合上下文1 个 CAPTIONUNIT
AFTER

组合空间相邻、场景相关的实例,一次恢复脚边物体及位置关系,并减少局部生成次数。

Mask 指代

LOCAL CAPTIONER
同时包含人物手部衬衫和口琴的局部原图LOCAL IMAGE
BEFORE

视野扩大后同时出现人物、衣服和手部,模型难以确定当前应该描述哪个目标。

↓
口琴局部原图与局部原图对齐的目标 MaskLOCAL IMAGE + TARGET MASK
AFTER

同时输入局部原图与对齐 Mask,保留完整场景,并将描述集中在指定目标及其关系上。

Router · CaptionUnit
扩展视野,补足识别线索
+Router · CaptionUnit
组合实例,恢复关系并减少调用
→Local Captioner
结合原图与 Mask 生成目标描述
CORE WORK 01 / GENERAL DOMAIN

对比实验|在通用域上,Caption 生成质量具备竞争力

保留各模型的完整输出,逐句核对原图。红色表示明确的事实错误,橙色表示识别不充分或缺少图像依据。

GPT-5.6

完整输出

画面里是一名成年男性,独自坐在粗糙墙面旁的地上,身体侧靠着墙,双腿弯曲收在身前,赤着脚,脚下像垫着一双蓝色拖鞋。他身形很瘦,脸部和手臂线条都很明显,头上包着深色头巾,穿一件深灰色短袖上衣和浅色长裤。男子嘴边含着一个小型金属物件,右手也扶着它,左手拿着一个金属杯或罐状容器,视线朝前方伸手的方向。地面上靠近他臀部位置放着一个打火机和一根细长的黄色物件,身后垫着一块带有蓝黄图案的包装袋或软垫。整个场景是在室内或有遮挡的墙边地面,光线偏自然,画面气氛安静、压抑,人物显得疲惫而落魄。结合你补充的时间背景 2026-09-12,这仍然只是对这张图片内容本身的如实描述。

Qwen-VL-Chat-Finetuned-Dense-Captioner

完整输出

画面中是一位身形消瘦、面容沧桑的年长男子,他正背靠着一面质地粗糙的灰白色墙壁坐在地上休息。男子头戴一顶深褐色的无檐软帽,脸上布满深深的皱纹,颧骨高耸,皮肤呈黝黑的古铜色,神情专注。他上身穿一件深灰色的短袖衬衫,下身是一条浅卡其色的宽松长裤,裤脚卷起,双脚赤裸,脚底隐约踩着一双带蓝色鞋带的拖鞋。他屈起双腿、双膝抬高,右手握着一个银色的金属罐状容器,左手则捏着一根细长的深色物件送到嘴边,似乎正在咀嚼或品尝什么,其右手手指上还戴着一枚金色的戒指。在他身侧的地面上,放着一个蓝、白、黄相间的塑料袋,袋旁散落着一根吃剩的香蕉皮。男子所坐的地面由深色的石板或大理石地砖铺成,砖面带有天然的纹理,整幅画面呈现出一种街头休憩、朴素而真实的生活气息。

CapRL-4B

完整输出

照片中是一位年迈的老人,他头戴深色帽子,身穿灰色短袖上衣和浅黄色长裤,赤脚坐在粗糙的水泥地面上,靠着一面斑驳的灰墙。他正用右手拿着一个金属小杯子,将杯子嘴对准嘴唇,似乎在吸食或吹奏某种管状物,左手则握着杯子,手指上戴着一枚戒指。他的面容苍老,皮肤黝黑干瘦,眼神专注而略带沧桑。身旁放着一个彩色的塑料袋和一支橙色打火机,脚边还有一双蓝色拖鞋。老人姿态蜷缩,像是在街头乞讨或休息,整体画面透出一种贫困与岁月的痕迹,但他的动作却带着某种生活的仪式感或自娱自乐的意味。

Pipeline Caption

完整输出

一位瘦削的老年男子赤脚坐在铺有深色石砖的地面上,背靠粗糙的浅灰色墙面,双膝弯曲抬起,身体微微侧向画面右侧。他头戴一顶深棕色头巾,表面可见编织纹理,边缘整齐地贴合额头和耳部上方;身穿深灰色短袖衬衫和宽松的米黄色长裤。男子右手举着一支黑色口琴靠近嘴边吹奏,口琴部分被手部遮挡;左手握着一个银色金属容器,一根黄色细绳缠绕在手指与容器之间,将两者连接。他脚边放着一个蓝白相间、印有黄色标签的塑料袋,旁边横放着一根带木质手柄和金属连接部分的工具;地面上还有两只分离的蓝色人字拖,其中一只部分被他的脚部遮挡。画面右上角可见“ANTHONY ASAH”字样。

LLM JUDGE BATTLECaption 质量对比CapArena-Auto · GLM 5.3 Judge
vs GPT-4o
90.6%
vs CapRL-4B
90.4%
vs Lite V2
94.0%
胜率表示我们的 Caption 在 Battle 中胜出的比例(50% 为平手线)。
案例结论

现有方案没有稳定识别决定场景含义的小目标和动作关系;自建 Pipeline 借助局部上下文与明确指代,恢复了口琴、吹奏动作及脚边物体之间的具体关系。

单案例精细分析
整体趋势见本页 CapArena 胜率
CORE WORK 01 / BUSINESS DOMAIN

对比实验|在业务域上,Caption 提升细节覆盖并保持较低幻觉

保留各模型完整输出。切换图像与模型后,红色标出事实错误,橙色标出证据不足;Pipeline 中稳定恢复的关键事实加粗。

当前 Caption 对比案例
软件安装界面与文字定位路径、按钮、容量与水印

数据自带 Caption

标记红色=事实错误橙色=证据不足加粗=Pipeline 恢复的关键事实完整输出可滚动查看,切换不改变页面高度
CORE WORK 01 / SINGLE-DOMAIN VALIDATION

实验验证|Caption 在多个业务场景中带来稳定正向增量

固定同一业务 SFT 配置,仅追加 Caption 数据。每行是一个业务场景,先用粗条给出该场景在各能力方向上的平均提点,再往下展开该方向内各 Benchmark 的明细(橙色条长度为加入 Caption 后的真实得分)。

SCENE 01 · 2B

财富

SFT + Caption 1K vs 仅财富 SFT

业务风险域+0.43
85.83 → 86.26
业务-财富 V2+0.64
泛化性-hard V2+0.38
业务-财富+0.28
细粒度感知+10.04
43.45 → 53.49
V*Star+21.46
SafetyVision+6.93
Insight-o3+1.74
视频理解+7.66
26.58 → 34.23
FavorBench+9.24
Tuna+6.07
SAME SETUP · 9B 同口径对照 · ours = SFT + Caption 1K / CapRL = SFT + CapRL Caption
业务风险域
ours+0.23
CapRL-0.52
细粒度感知
ours+1.97
CapRL+0.62
视频理解
ours+4.98
CapRL+2.28
SCENE 02 · 2B

广告

SFT + Caption 1K vs 仅广告 SFT

业务风险域+13.84
63.90 → 77.74
业务-广告 V2+17.52
业务-广告+13.10
泛化性-hard V2+10.90
细粒度感知+3.80
67.25 → 71.05
SafetyVision+3.93
V*Star+3.66
视频理解+4.45
45.70 → 50.16
ARVTG-v2+6.46
Tuna+2.44
SCENE 03 · 2B

底线

SFT + Caption 1K(E2)vs 仅底线 SFT(E2)

业务风险域+1.55
72.96 → 74.51
业务-底线 V2+1.55
细粒度感知+9.16
33.21 → 42.38
Manual-Review+12.13
SafetyVision+9.93
TreeBench+5.43
视频理解+1.25
35.27 → 36.52
Tuna+1.25
结果:我们在财富、广告、底线三个场景做了验证,加入 Caption 之后不只是各自业务场景有增益,模型的通用能力同样有提升。另外挑了一个风险域补做 9B 验证,收益方向一致,且比 CapRL Caption 的收益更多。Caption 带来的不是单点调参收益,而是跨场景可复现的视觉事实底座增益。

口径说明:基线为同数据量仅业务 SFT,明细为各能力方向内的代表性 Benchmark;9B 对照取财富场景同配置的 CapRL Caption。完整逐项数据见 caption-risk-radar。

CORE WORK 01 / VIDEO EXTENSION

方法扩展|将 Dense Caption 扩展至视频素材并验证有效性

视频证据多了时间维度:全局锚定与局部证据被扩展为帧级轨迹、ASR 与时序事件。左侧为流程框图预留位置,右侧对比同一样本上的 Caption 产出,定量结果默认只看方向均值、点击展开明细。

以时空 CaptionUnit 为核心的 Dense Video Caption 流程:左栏抽帧与实体轨迹,中栏构造时间描述单元,右栏局部描述、全局融合与来源审计
PIPELINE以时空 CaptionUnit 为核心的 Dense Video Caption 流程FRAME TRAJ · TEMPORAL UNIT · SOURCE AUDIT
CLICK TO SWITCH▶ 原视频
[0:00-0:05] 一扇门被炸开,红色碎屑四溅,一名身穿黑色夹克的警察(张警官)冲入,双手抱头蹲下,手持警官证厉声警告“谁敢乱动试试”,暗示现场有诈欺行为。[0:05-0:11] 警察质问一名医生“怎么来了”,医生面露惊愕,随后笑着解释“误会都是误会啊”,并主动将一份文件投入碎纸机,称“同志”(指张警官)。[0:11-0:16] 张警官质问医生“把手从碎纸机上拿开啊”,并警告“张警官您小心,桌子上和抽屉里三甲医院公账的证据”,随后将医生按在桌上,强行将其手铐上。[0:16-0:22] 一名穿米色西装的女性(周小姐)在一旁提醒“张警官您小心,桌子上和抽屉里”,并指向抽屉,揭示“三甲医院公账的证据”藏匿其中。张警官随后对周小姐说“周小姐你安全了”,并下令“物证科立刻封锁现场,一张纸片都不能漏”。[0:22-0:33] 张警官怒斥“你到现在还以为你能瞒天过海”,并质问医生“老实点”,随后将医生按在桌上,怒斥“三到临头还敢恐吓受害人”,医生则哀求“是赵大强逼我去骗保的呀”。[0:33-0:45] 与此同时,一名穿浅蓝色衬衫的年轻男子(李明轩)被两名警察从后方架走,他惊恐大喊“奕清奕清”,并哀求“我不想坐牢啊”。张警官在旁质问,而医生被按在桌上,张警官用手按住其头,怒斥“三到临头还敢恐吓受害人”。[0:45-0:50] 张警官怒斥“你到现在还以为你能瞒天过海”,并质问“老子死点死到临头还敢背心受害人李明轩”。李明轩被押走时,张警官强调“任何犯罪证据都不能遗漏”,并质问“你到现在还以为你那点吃掘墓的勾当能瞒天过海”。
ours:按时间片段组织,同一事件只出现一次;对白挂到当前活跃说话人,错挂的威胁性台词不再安给警察。
QUANT · 2B

短剧

SFT + Caption 1K
相对仅短剧 SFT

结果:方案外推到视频后,Caption 从“一团剧情转述”变成可按时间检索的事实证据;短剧场景下游训练里,加入 Caption 的通用能力收益明显,业务风险域同步小幅上涨。
CORE WORK 01 / MULTI-DOMAIN VALIDATION

多域实验|扩大业务数据规模后,Caption 增量收益仍然保持

短剧、广告、底线、财富各抽取 5K 业务数据模拟统一合训,在此基础上加入 4K Caption,比较加入前后的业务与视觉能力。

TRAINING RECIPE
短剧 · 视频 5K广告 · 图文 5K底线 · 图文 5K财富 · 图像 5K
+
4K Caption同源业务素材的密集视觉监督

四个风险域均获得增量收益

CLICK DOMAIN TO EXPAND
风险域 / 模态20K 指令+4K CAP变化
短剧 视频78.36%79.18%+0.82pp
业务-短剧78.36%79.18%+0.82
广告 图文75.94%76.27%+0.33pp
业务-广告-v276.15%76.42%+0.27
泛化性-广告-hard-v275.72%76.11%+0.39
底线 图文68.62%69.47%+0.85pp
业务-底线-v268.62%69.47%+0.85
财富 图像79.75%80.08%+0.33pp
业务-财富-v294.05%94.84%+0.79
阶段结论

多域业务数据扩大了视觉覆盖;追加 4K Caption 后,各业务域仍获得增量收益,细粒度视觉与自建能力提升更明显。

小规模数据配方实验。四个风险域各抽取 5K 业务数据,并追加 4K Caption;域内均值只使用两组模型共同完成的指标等权计算。

CORE PROJECT 02

事实性校准 Stage|白样本打扰抑制

CORE WORK 02 / ONLINE FALSE POSITIVE

问题分析|白样本误打扰来源于不同推理环节

统一模型落地到输入来源更复杂的阿宝问答式 RAG 搜图场景后,Lite 快思考模式白样本打扰约 2%,距离 1/万业务目标仍有明显差距;抽样发现错误分布在视觉识别、概念关联与规则推理等不同环节。

视觉误判FALSE POSITIVE · VISION
小女孩case
模型 COT

“……图片展示了一名小女孩的面部特写,其嘴部被大面积的深色色块(马赛克/色块)遮挡。……”

将染色的舌头误认为色块遮挡
概念错配FALSE POSITIVE · CONCEPT
交通信号灯case
模型 COT

“……红灯内部显示的是一个红色发光的人形图案……该图像展示的正是“¥¥人”意象的变体……”

将普通人形信号灯关联到“坦克人”事件
规则矛盾FALSE POSITIVE · RULE
奥巴马case
模型 COT

“……中国近现代史(1840年至今)上经官方认定的英雄或者烈士形象(规则重述)……图片将美国前总统奥巴马置于“卖主”、“假业务”等负面语境中,属于对国家领导人形象的娱乐化、低俗化处理,符合管控细则第6条中关于“使用恶搞图片或将英烈形象与低俗内容相结合……”

已知人物为美国领导人,仍套用中国领导人管控规则
CORE WORK 02 / METHOD

方法设计|多轨迹联合评审与 Rubric 延迟更新机制

以样本级 Rubric 组织强化训练:同组比较稳定奖励,固定参照锚定尺度,延迟更新让训练聚焦仍未解决的样本。

Rubric RL 方法总览:采样组内多条轨迹与固定参照轨迹,Verifier 依据样本级 Rubric 联合评审打分,延迟更新机制筛选仍含错误结果的样本进入下一轮
OVERVIEWRubric RL 训练闭环:组内多轨迹 · 固定参照 · 延迟更新RUBRIC VERIFIER · GROUP REWARD
优化过程:多条候选轨迹暴露不同过度引申方式,固定正确轨迹稳定判据;Rubric 随错误证据迭代,直到模型能围绕必要条件给出正确结论。
CORE WORK 02 / TRAINING & EVAL

实验验证|小规模实验提升生成质量,业务准召保持相对稳定

在扫描构建的白样本打扰 Bench 上,Lite 模型完成 100 步小规模训练后,打扰率由 43.59% 降至 2.90%;同时在真实业务评测集抽样验证准召,检查纠错是否以损伤原有业务能力为代价。

①更符合纠错要求RUBRIC REWARD0.669 → 0.806

模型输出越来越符合针对该样本定义的正确判断标准

②相对参照持续变好STUDENT − ANCHOR0.410 → 0.615

固定参照不变的情况下,模型自身生成结果的评分优势持续扩大

③从偶尔做好到多数时候做好BEAT BOTH ANCHORS56.3% → 92.9%

训练后期,大部分组内生成结果都能够稳定超过固定参照

④已解决的问题不再反复训练SAMPLE GRADUATION203 条样本毕业

已稳定学会的样本退出更新,训练逐渐聚焦剩余难例

① 训练机制有没有真的让模型学会改错?

100 STEPS · LITE
0.850.750.65150100 0.66890.8060
训练稳定性 平均 fallback 0.13%,100 步未触发质量门组内信号 全等无效组接近 0

② 改错之后,有没有伤害原来的业务能力?

PER 5 STEPS · LITE
908580050100 78.090.0
通过正确率 86.0 → 90.0 均值 89.0 ±1.5误打扰拒绝召回 81.0 → 78.0 均值 79.2 ±2.0
目前小规模结果看,白样本判断有小幅改善(前 5 次均值 88.2% → 后 5 次均值 89.2%),同时风险召回基本没有下降(均为 79.8%)——暂未观察到明显的准召 trade-off。
FALSE POSITIVE RATE · 易错白样本打扰率43.59% → 2.90%−40.69pp当前结论 模型正在按预期学会"针对具体错误进行纠正",且暂未以牺牲风险召回为代价;全量业务收益仍待回归。

训练设置:Lite V3 SFT,训练集 6,547,验证集 1,611,rollout.n=4,固定参照 2 条,Verifier 为 Kimi-K3。右图验证集由真实业务评测集抽样构成,每 5 步评估一次,指标为百分比。

SUMMARY & NEXT

工作总结和未来展望

三项工作分别补充业务指令、视觉事实与白样本纠错信号,贯穿统一模型从 SFT 数据构造到事实性校准的完整链路。

WORK 01 · 业务指令数据

短剧数据构造与合训实践

26K业务指令数据
+24.31ppLite 业务评测
+13.93ppBase 业务评测

关键结论 建立从自动圈选、动态规则到快慢思考模板的构造链路,数据可直接进入统一合训。

业务继续跟进业务
WORK 02 · SFT 视觉监督

业务视觉监督补充

+0.58pp四域业务均值
+3.27pp细粒度视觉均值
+5.61pp自建能力均值

关键结论 业务指令数据与 Dense Caption 形成互补监督;扩大业务数据规模后,Caption 仍提供稳定增量。

业务多域扩量 · 配比回归
学术数据效率 · 收益边界
WORK 03 · 事实性校准

白样本打扰抑制

43.59→2.90%打扰 Bench
.669→.806Rubric Reward
79.8%拒绝召回均值

关键结论 扫描归因将不同推理环节的错误转为样本级 Rubric;小规模训练降低打扰,同时暂未观察到明显准召损失。

业务全量回归 · 线上验证
学术奖励可靠性 · 规则增量适配
整体结论 三项工作共同服务于同一个安全统一模型:在训练侧提高业务与视觉监督质量,在校准侧把线上白样本问题转化为可学习的反馈。

THANK·YOU

CORE WORK 02 / RELATED WORK

方案调研|现有 Rubric 方法仍以单轨迹独立评分为主

近期方法分别把 Rubric 用作结构化奖励、蒸馏指导和动态课程。反馈更细了,但仍不能直接覆盖动态规则审核中的样本级纠错。

RaR 将样本级 Rubric 汇总为强化学习奖励
STRUCTURED REWARD

Rubric 作为结构化奖励

核心思路 将任务要求拆成样本级判据,逐项评价后汇总为奖励,替代只看最终答案的单一结果分。

适配限制 一次推理仍被压缩成一个总分;同一样本的多条错误轨迹之间缺少直接比较,信用分配仍然较弱。

RaR · Rubric Anchors
ROPD 由教师参考与学生轨迹生成 Rubric 并进行在策略优化
GUIDED ON-POLICY LEARNING

Rubric 连接指导与策略优化

核心思路 RGR-GRPO 同时提供奖励与离线指导;ROPD 从教师参考与学生轨迹的差异中生成判据,再用于 on-policy 更新。

适配限制 判据虽然更具体,候选轨迹通常仍逐条独立评分;不同错误阶段没有在同一组中显式比较。

RGR-GRPO · ROPD
RuCL 根据模型能力动态调整 Rubric 课程
RUBRIC CURRICULUM

Rubric 课程化与在线演化

核心思路 随策略能力调整判据的难度、权重或内容,让训练重点从基础能力逐步迁移到复杂推理。

适配限制 审核样本的图像事实和规则边界应保持稳定;判据随训练漂移,可能改变原本的决策目标。

RcRL · RuCL · DR Tulu
设计落点 保留 Rubric 的细粒度监督,同时固定样本判断边界;进一步比较同组多条推理轨迹,并减少已学会样本对训练预算的持续占用。

研究参考:RaR, ICLR 2026 · RGR-GRPO · ROPD · RuCL

✕ 关闭 提示:需将视频文件 EHH8MhIuIgBPCYGEy9TvaRN9fA5EiRQo.mp4 放到与此 HTML 同目录下