近日，某“双一流”高校科研团队正式发布面向多模态模型的数据中毒防御方法“基于最优传输的图文匹配与对齐”（OTCCLIP）。该方法可有效抵御针对多模态模型的数据投毒攻击，为多模态模型部署落地提供保障。研究攻关期间，北京积算科技有限公司（以下简称“积算科技”）以稳定、高效、灵活的智能算力服务，全程支撑了模型研发与实验验证，是“科研创新+算力赋能”协同模式的一次成功实践。
以CLIP为代表的图文预训练模型，是多模态人工智能的重要基础，电商图文搜索、“以文搜图、以图搜文”等常见功能都依赖这类模型。它们通过学习互联网上海量的“图片+文字描述”数据，建立图像与文字的对应关系。但原始数据直接来自网络、难以逐条审查，攻击者只需注入少量恶意图文对，就能让模型“记住”错误对应。例如，攻击者在数据集的部分图片上加上一个不起眼的标记，并将对应的文字描述统一改为“香蕉”。模型在这样的数据集完成学习后，任何带有该标记的图片都会被识别成“香蕉”，即使画面里是一辆汽车；而不带标记的图片则一切正常。这类问题平时难以察觉，往往在造成实际损失后才暴露，修复又需要清洗数据，代价高昂。
现有防御方法大多只依据图文的整体语义来纠正错误的图片文本对，容易忽略局部细节上的不一致，不仅可能漏掉伪装巧妙的中毒样本，还会引入新的错误配对、损害模型性能。针对这一难题，积算科技AI算法专家加入研究团队，共同讨论、探索，提出了OTCCLIP防御方法。该方法引入最优传输理论，核心包括两点：
1. 细粒度匹配，重构图文对：OTCCLIP借助最优传输理论，在模型学习过程中定期为每张图片重新匹配最契合的文字描述。具体做法是把图片切分成许多小块、把候选文字拆成一个个词，逐块逐词比对对应程度，并通过最优传输来衡量整体相似度，进而从中选出最匹配的一条描述。相比只看整体含义，这种方式判断更精确，恶意拼接的图文会由此失去关联。
2. 细粒度对齐：重新配对后，OTCCLIP基于最优传输理论，在图片小块与文字词语的层面上开展对齐学习，让对应准确的部分发挥更大作用、削弱对应不准部分的影响，并兼顾图片、文字各自内部的语义关联。即便残留少量误配，也不会干扰模型的正常学习。
实验结果显示，OTCCLIP可使多类数据投毒与后门攻击基本失效，模型在下游任务中的精度亦优于未加防护的方法。该方法无需额外的人工数据清洗或标注，可直接嵌入现有CLIP模型的流程中，具备良好的工程落地性。
与常规的微调类研究不同，数据中毒防御方法的开拓性研究必须“从零开始”开发完整模型，这对计算平台提出了极其严苛的要求。
一是计算开销成倍增加。由于OTCCLIP引入了细粒度对齐机制，需要高频次、反复地计算局部语义矩阵，相比标准模式引入了巨大的额外计算开销，对GPU 算力以及多卡之间的互联带宽提出了更高的要求。
二是数据供给压力巨大。大规模图文数据需要在多轮研发周期中保持不间断、高速度的输入，这对算力平台的存储吞吐与数据加载流水线构成了持续的重压。如果网络或存储带宽不足，就会导致计算资源闲置，严重拉长研发周期。
三是任务调度要求高弹性。为了覆盖多种攻击方式与防御基线，大量的对比、消融实验需要并行推进且长时间连续运行，算力供给必须在维持长期稳定的同时，具备随实验节奏灵活伸缩的能力。
针对 OTCCLIP 项目在算力消耗、数据吞吐以及弹性调度上的紧迫需求，积算科技依托其Fast-AI服务平台，为研究团队提供了覆盖算力、存储、网络、运维的一体化智算服务。Fast-AI是面向AI开发场景的服务平台，助力用户实现高效的计算力支撑、精准的资源管理和调度、敏捷的数据整合及加速、流程化的AI 场景及业务整合。
在硬件底层，积算科技以裸金属方式直供高性能GPU资源，算力独占、无虚拟化损耗，配合节点间的高速互联，有效消化了细粒度算法带来的额外计算开销。为了应对数据洪流，配套部署了高吞吐并行存储与数据缓存加速技术，保障大规模图文数据在多轮开发中的稳定供给，让GPU算力得到充分利用。
在平台层与运维端，Fast-AI平台的统一调度能力让算力能够随实验节奏灵活伸缩。在实验高峰期快速扩容、多组任务并行推进，常规阶段按需配置、避免闲置，在压缩研究周期的同时显著降低了科研算力成本。平台对任务实施全程监控，服务器宕机或掉卡时任务可自动迁移，中断恢复时间低于5分钟，配合积算科技运维团队的7×24小时保障与故障快速恢复机制，确保了长周期研发的连续稳定运行，让研究团队把精力100%留给算法创新而非基础设施。
积算科技诞生于全球生成式AI浪潮，专注于智能算力服务市场，致力于成为中国最具价值的智能算力服务商。公司聚焦互联网、运营商、高校、新能源汽车等领域，为多家头部客户提供专业算力服务。积算科技拥有万卡级先进智能算力资源池，提供裸金属、智能算力系统、专属智能算力系统等多元化算力服务产品，广泛适用于大模型训练与推理、算法研究、大数据分析、自动驾驶及智能科学计算等场景。其运维和服务团队具备大规模智能算力系统设计建设、大模型开发应用及性能优化能力，可提供全栈大模型应用开发服务支持，并根据客户需求提供灵活的服务模式。
