面对AI的安全风险，做一个“死磕派”守门人 | 新青年•创业场

记者/温婧 实习生黄依璇

编辑/余美英

原创视频: 为AI技术发展筑起一道防线 摄像/胡莎 剪辑/黄安琪

不久前，某地警方接到报警电话。报警人称，其收到一段女儿被绑架的视频，对方向其索要钱财，疑似AI诈骗。

接警后警方迅速展开调查，发现该视频清晰度较低，确有AI合成的可能。

在这个AI技术突飞猛进的时代，黑产可以通过高清显示屏播放合成视频骗过人脸识别系统。一段用AI合成的地震或海啸视频，能够获得广大的同情心，收割巨大的传播量。一段画面并不清晰的勒索视频，无法让人确定被绑的女孩究竟是真人还是算法生成的假人。

在真伪存疑的情况下，警方向瑞莱智慧团队寻求技术支持，使用瑞莱智慧生成式人工智能内容检测平台DeepReal对视频进行了检测，DeepReal当即给出视频为真的结果。

最终，警方顺利解救出被绑架儿童，并抓获了犯罪嫌疑人。

“大家对这件事的印象都很深。”瑞莱智慧CEO田天说，“这让我们直观地看到自己研发的产品，在关键时刻所发挥的具体价值。”

在AI技术被越来越广泛地用于诈骗、伪造、网络攻击的今天，这家脱胎于清华大学人工智能研究院的创业公司用8年时间，为AI技术的发展建起了一道有力的防线。

做“50年以后”的事

2012年，田天还是清华大学计算机系本科生。那时，人工智能热潮还远未到来，业内普遍预测，人工智能落地还需要50到60年。

但田天还是凭着兴趣选择了这个方向。第一堂人工智能课曾让他多少有些落差，“上之前想的都是科幻电影里的机器人、有自我意识的AI，真正上课时发现做的却是让AI下象棋、玩小游戏这些具体的小任务。”不过，再前沿的技术，也得从基础问题一步步做起。抱着这样的想法，他开始了自己的学习和研究。

本科毕业后，田天在清华计算机系直博，研究方向是生成式人工智能。当时绝大多数人都在做判别式技术，生成式技术还远非主流，但他所在实验室的共识是：要做就做引领行业的事。

博士期间，田天逐渐把目光投向AI安全领域。2018年博士毕业时，田天没有步入学术道路，而是决定走向实践。

“我们在清华做研究时，张钹院士就提出了第三代人工智能的概念，强调要发展更安全、可靠、可信、可扩展的人工智能。”田天回忆，“当时看到人工智能所存在的问题，尤其是不够安全可控，导致没法广泛应用到更多行业场景中，就决定将学术研究转化为实际应用。”

他在博士阶段发表的多篇论文都聚焦于模型的鲁棒性问题，这为他日后进入AI安全赛道埋下了伏笔。

2017年、2018年，行业对AI落地充满期待，但田天和团队判断，如果安全问题不解决，这些期待都实现不了。“我们一直在做这个领域，知道它的瓶颈和短板在哪里。”

安全是前面那个“1”

2018年，瑞莱智慧成立。初始团队五六个人，都是清华实验室的同学。公司依托清华大学人工智能研究院发起设立，由清华大学人工智能研究院名誉院长张钹院士、清华大学人工智能研究院副院长朱军教授共同担任首席科学家。

“安全是AI使用的前提条件。”田天说，“安全是‘1'，其他的才是后面的‘0'。没有足够的安全保障，AI根本无法发挥作用。”

那时候AI公司都在拼算法、拼应用场景，安全被认为是很遥远的事。“我们去推广的时候，很多人不理解、不接受，会觉得我们做这件事有点早。”田天说。

除了外部的不理解，还有公司方向的问题。公司的愿景是做安全、可靠、可信、可扩展的第三代人工智能，但具体从哪个产品切入、哪个行业先落地，没人能给出现成的答案。“刚起步的时候，更多的是迷茫，只能摸着石头过河。”

好在转折来得很快。

公司成立不久，田天通过校友渠道联系到了一家金融机构。这家金融机构当时的风控系统采用传统技术方案，在关键指标上有明显的提升空间。瑞莱智慧的团队和客户一起，从业务需求出发，一点点磨合，几乎是用"联合共创"的方式，做出了第一版面向金融场景的AI风控产品。通过算法升级，性能指标得到了显著提升。

田天说，第一年就有项目顺利交付，还拿到了收入，对初创团队而言是极大的信心提振。

八年过去，市场终于证实了他们当年判断的正确性。随着大模型的广泛应用，越来越多人认识到了人工智能安全的重要性，这一领域也吸引了越来越多的从业者。回想那段"超前"的日子，田天说：“我们是看准了它长期的价值和重要性，坚持去做，最终还是得到了认可。”

公司CEO田天

给AI大模型装上护栏

田天和团队发现，AI系统在真实场景中面临的安全挑战，远比人们想象的要复杂。

比如人脸识别系统，看似已经非常成熟，但在对抗样本攻击面前却十分脆弱。攻击者只需在图像上添加人眼几乎无法察觉的微小扰动，就能让系统将一张脸识别成完全不同的另一个人。

再比如深度伪造技术，生成一段以假乱真的视频所需的算力和数据门槛正在急速降低。几年前还需要高性能GPU集群才能完成的工作，如今一台普通电脑加开源工具就能搞定。“攻击的成本在下降，但防御的难度在上升，安全的问题只会越来越突出。”田天说。

与此同时，团队也注意到，市场上几乎没有专门做AI安全的公司。大部分AI企业都在追求算法精度和应用场景的拓展。田天说，正是基于对这一结构性缺口的判断，瑞莱智慧从一开始就将自己定位为一家AI安全公司。

事实证明这个定位是准确的。随着大模型时代的到来，AI的安全问题从“潜在风险”变成了“现实威胁”，而瑞莱智慧的产品体系，恰恰对应着其中三种重要的问题。

第一道防线是对抗AI的伪造。用AI合成图片、视频、声音的深度伪造技术正在被黑产用来诈骗、造谣。田天提到，人脸识别身份核验系统被大量应用于金融机构，初衷是帮助用户便捷办理业务，但黑产利用AI合成技术仿冒成受害者通过验证。“这种攻击手段已经给很多金融机构和个人造成了实际损失。”

瑞莱智慧生成式人工智能内容检测平台DeepReal，专门用于判断一段内容到底是真实的还是AI合成的。而在人脸识别场景，瑞莱智慧推出了人脸AI安全防火墙RealGuard，能在攻击发生时识别并拦截，“从而避免潜在损失的发生”。

第二道防线是修复AI自身的脆弱。大模型时代，幻觉、偏见、数据泄露、被注入恶意指令等问题开始浮现。瑞莱智慧采取了攻防两端的策略。一方面，团队研发了红队模型，主动对市面上的主流大模型进行对抗性测试。他们发现包括OpenAI的GPT-4o、Google的Gemini在内的头部模型，在自动攻击下都可以实现100%的攻击成功率。“这对我们是一个很大的震撼，”田天说，“这说明行业内非常头部的企业和模型，也存在很大的安全缺陷。”

另一方面，瑞莱智慧提供安全加固方案——给大模型装上"护栏"，确保其在任务中输出可信、可控、符合规范的内容。2025年初，清华与瑞莱智慧联合团队推出RealSafe-R1系列大模型，在多个基准测试中有效增强了对各种越狱攻击的抵抗力。

第三道防线是预防实体世界的风险。2026年，随着智能体和具身智能机器人的兴起，AI正在从"回答问题"的对话框，进化为"执行任务"的行动者。风险也随之从虚拟世界延伸到物理世界。“具身智能机器人的安全更直接，因为它是在物理世界里，如果没办法应对特殊情形，很有可能伤害人类，直接对人的生命安全造成威胁。”田天说。瑞莱智慧也已布局这些前沿领域，“随着具身智能的发展，我们希望在前沿领域持续开展安全相关的研究和技术研发，适时推出新的AI安全产品。”

瑞莱智慧团队

八年服务数百家客户

田天团队不仅是AI安全的践行者，也是AI产业发展的见证者。

在瑞莱智慧的发展历程中，团队亲历了AI产业化的起起伏伏。公司刚成立时，AI技术仍以判别式模型为主，人脸识别、语音识别是主流应用，行业对AI落地充满信心。当时许多人预测自动驾驶系统一两年内就能大规模落地。但由于安全性、可控性和泛化性问题无法解决，重点行业的落地遇到了很大障碍，AI产业一度进入低潮期。

“很多公司在这个过程中业务作了调整。”田天说。但2022年底之后，大模型技术被广泛看到，AI迎来了新一波快速发展。“同一套模型在许多不同的领域都能发挥作用，很多全新的应用场景被新技术开启。”瑞莱智慧也在这个过程中受益，快速推动产品迭代和市场拓展，站在了浪潮的前端。

从2018年到现在，瑞莱智慧已经走过了八年。公司围绕“为AI提供全方位安全基座”，推出了大模型安全评测平台、生成式人工智能检测平台DeepReal、人脸AI安全防火墙RealGuard等一系列产品。服务客户数百家，包括央国企、金融机构等。

团队多次在各类国际测评和竞赛中斩获冠军，并在ICML、NeurIPS、ICLR、CVPR等国际顶级会议上发表论文数百篇，参与了50余项国际、国家及行业标准的制定工作，累计获得各项知识产权300余项，其中授权发明专利180余项。研究团队还参与承担了科技部、工信部等部委发起的多个国家级重大项目建设任务。

但挑战从未停止。“那些黑产攻击者的技术手段也在快速迭代，也在规避我们的检测技术，”田天说，“所以我们得不停地迭代，一两周就得有一个版本，不停的往前跑。”

田天今年35岁，团队平均年龄27、28岁。在他看来，这一代年轻人“更有追求，更愿意去做一些有长期价值的事情，而不愿意接受一份平庸的日常工作。”

八年过去，瑞莱智慧的产品切实应用在了政务、公安、金融、科研等很多重要的场景，但让田天真正觉得这件事值得做下去的原因，是希望“让我们的成果走出实验室，成为用户信任、使用人工智能的理由。”

对田天来说，这不是一个阶段性的任务，这正是他口中“有长期价值的事”。

【版权声明】本作品的著作权等知识产权归北京青年报【北青深一度】所有，未经授权，不得转载。

72岁失独老人，和她余生的8份协议 一场MUET考试，至少10名替考者潜入考场

在麦田里出没的华北豹