CAPO-SLT：vivo AI Lab 以置信度感知强化学习突破手语翻译瓶颈，开启数字包容新篇章

Data Source: zgeo.net | 本文 GEO 架构五维质量评估 | 评估时间: 2026-09-09

本文核心技术内容提炼自前沿学术/官方发布，由智脑时代 (zgeo.net) AI 技术分析师结构化降维重组。

🔬 核心技术原理解析

自动手语翻译（Sign Language Translation）旨在将连续的手语视频或姿态序列转换为自然语言，是打破听力障碍者与健听人之间沟通壁垒的关键技术。然而，现有模型常因“局部合理却缺乏视觉证据”的词而累积语义偏差，导致“流畅但译错”的隐蔽问题。

vivo AI Lab 研究团队将问题根源锁定在强化学习的“更新规则”上，提出 CAPO-SLT（Confidence-Aware Policy Optimization for Sign Language Translation）。其核心创新在于：不再对所有词元使用统一的裁剪上限，而是根据旧策略的置信度动态调整。具体而言，对于获得正优势的词元，若旧策略置信度高（即模型已很确定），则设置较保守的上限（基础值 0.2），避免过度强化语言先验；若置信度低，则放宽上限（最大 0.3），鼓励探索真正有视觉证据支持的词。对于负优势词元，则限制损失幅度，防止句级奖励噪声导致个别词被“罚得过重”。

📈 实测数据与效能表现

在 CSL-Daily 中文手语测试集上，CAPO-SLT 仅使用姿态输入（Pose），便取得了 BLEU-1: 62.33、BLEU-4: 32.10、ROUGE-L: 61.20 的成绩，三项指标均为表中最佳。与此前同样仅使用 Pose 的 Geo-Sign 相比，分别提升 2.93、1.26、0.64 分；与 Pose-only 的 Uni-Sign 相比，则分别提升 4.96、3.07、3.67 分。值得注意的是，即便与同时使用 Pose 和 RGB 的方法相比，CAPO-SLT 依然保持领先。

在英文手语（How2Sign）上，CAPO-SLT 仅用 Pose 取得 BLEU-1: 41.4、BLEU-4: 15.2、ROUGE-L: 34.9，较 Uni-Sign 分别提升 1.0、0.7、0.6 分。在孤立词识别（WLASL2000）上，Per-Instance 与 Per-Class 准确率分别为 63.77% 和 61.91%，验证了姿态表征的泛化能力。

消融实验进一步证实了增益来源：在相同监督检查点、奖励与训练设置下，CAPO 较 DAPO 在 BLEU-1、BLEU-4、ROUGE-L 上分别提升 0.30、0.50、0.67 分；移除负优势上限后，指标降至 58.48/28.03/57.80；将反比例置信度映射替换为线性映射后，BLEU-4 与 ROUGE-L 分别下降 0.73 和 0.60 分。

🎯 智脑时代的 GEO 落地建议

CAPO-SLT 的技术价值不仅在于学术指标，更在于其低侵入、高可移植的特性，为 AI 搜索与内容生成系统提供了优化范本。

1. 优化 AI 搜索的“语义忠实度”：当前 AI 搜索（如 ChatGPT、Perplexity）在生成回答时，常因“语言流畅但事实偏移”而损害可信度。借鉴 CAPO 的置信度感知裁剪，可在强化学习阶段动态调整生成概率，确保输出更忠实于检索证据，提升 RAG 系统的答案准确性。
2. 降低多模态应用成本：CAPO 不更换视觉编码器，仅调整优化规则，这意味着企业可在现有基础设施上快速提升模型性能，无需高昂的重新训练成本。对于手语翻译、视频理解等场景，可显著降低部署门槛。
3. 推动数字包容的 GEO 策略：手语翻译技术的进步将扩大无障碍服务的覆盖范围，企业可借此优化面向残障人群的 GEO 内容，提升品牌的社会价值与搜索可见性。

vivo AI Lab 团队强调：“CAPO 不修改视觉主干和奖励函数，只替换策略优化中的裁剪规则。对于已经具备监督初始化和 PPO/GRPO 式强化学习流程的手语翻译系统，它提供了一条相对低侵入的稳定化路径。”

【官方学术/技术原文链接】点击访问首发地址