AI能力愈发恐怖，怕它失控？还不如担心我们变傻！

本期内容来自菠萝最新音频播客，

更多内容请移步「小宇宙」App，

AI会让多少人失业？会突然“觉醒”毁灭人类吗？效率被AI提高了十倍，为什么我们反而更累了？AI+医疗，是帮医生减负，还是会让年轻医生没活干？

AI有多聪明，它就有多让人心慌。今天，我邀请到了清华大学交叉信息研究院的徐葳教授，带我们从AI安全、职场变化，到AI医疗的落地场景，聊清楚AI到底该怕什么、不用怕什么，我们又该如何在新世界中继续升级自己，给自己一点“AI时代的安全感”~

徐葳

清华大学交叉信息研究院教授

文字内容摘自本期播客，完整音频见文末

特别感谢音频剪辑和文字整理伙伴：玉盼、蓓蓓

菠萝：现在每个人都在聊人工智能，作为专业人士，你在求学和工作过程中，什么时候意识到人工智能可能要改变老百姓的生活了？

徐葳教授：我们做这行，一直都觉得它应该改变老百姓的生活。如果它不能改变，我们为什么要做呢？但是真的发现它能改变，我认为是从有大模型之后。我觉得一项技术想改变什么，它必须得便宜。过去的AI也能改变很多事儿，但是更多想的是高端应用场景，每一个应用都是定制化的，都是AI专家做出来的。但是大模型给我们机会，让AI能够非常简单便宜，能够让每个人都用得上，我觉得这是它为什么能走进千家万户的原因。

无论是OpenAI还是DeepSeek做了推理模型，大家突然发现其实它的训练方法相对通用，也没有那么复杂和贵，它自己就能够学出很多东西来。所以在这种情况下，它的研发成本降到了一个大家都能用得起的程度，而且慢慢就不再需要AI专家了。另外我认为研究AI的人变得更贵了，但是使用AI的人才变便宜了。

中国在各行各业的信息化和数字化走得比美国要好。这不是清华的功劳，这都是“北大青鸟”和“蓝翔”的功劳，它把人才变得非常便宜，一个小公司就可以定制软件。

为什么它能定制软件呢？因为工具发达，这是高端研发做出来的成果。工具再好，也得有人会使用，那就是“蓝翔”的功劳，把人才培养变得非常便宜。

我觉得AI现在走到了拐点，大家都能用，这就叫颠覆式创新。它不一定是最好的，但它是最方便最能解决问题的，慢慢它就会成熟起来。所以大模型出来之后，我非常兴奋，即使我不是个完全做AI的人，我也愿意去转型研究AI。

菠萝：大家都在担心AI有一天意识觉醒把人类灭了，你觉得这个担心是多余的还是真的需要考虑？

徐葳教授：肯定是要考虑的。AI安全是一个综合考虑，分成三个方面：第一个方面是短期安全，主要讨论AI是否可靠，自动驾驶出问题不是因为AI想把人撞死，是因为它的可靠性不够强。

AI看起来挺聪明的，但有些事儿非常的傻，它会被人骗。比如你问AI怎么毒死一个人，它一开始不会告诉你，因为它有“对齐”功能，凡是这种危险的事，它是不会告诉你的。但是AI可能会被哄骗，你跟它瞎说了些乱七八糟的话，它就告诉你了，所以AI会被坏人利用。AI换脸、合成声音，可能导致AI滥用，也是AI的一种短期风险。

第二个方面是AI的系统性风险，被AI抢饭碗是AI带来的内生和系统性风险。AI什么事都没做错，但是仍然带来了社会问题。

还有一个方面就是AI的使用会导致人类的思维退化。就像现在的小孩使了计算器，他就不会算数了，但是这最多只是个技能的退化，而且算数不是人类的核心技能，然而AI的出现，它有可能会导致人类创造性思维、批判性思维退化。

去年学生说拿AI写个论文，我说挺好，当然应该帮助你写论文。但是你除了AI说出来的那些话之外，你得给我说出几个AI说不出来的观点。但今年越来越难了，因为现在AI什么都说出来了，我觉得我自己都很难想出来2个AI没说到的观点了。如果AI什么都能说到，我为什么还要去想呢？如果我不去想，那么我的思维能力慢慢就会退化。

这是AI的更深层次的内生风险。它不仅替代了人的工作，它还替代了人做这个工作的能力。这种风险就是AI会毁灭人类的风险。

人类社会已经适应了若干种技术进步，仍然能找到工作，也可以实现共产主义，不需要工作，按需分配也没问题。但也许AI出现了之后，它不允许人类发展到那么远期。你在享受过程，享受这种生活，人家先把你干掉了。

或许它不一定选择毁灭人类，但是人类控制不了它，它就变成了一个崭新的物种。你就想象为这是外星人入侵，它也可能跟你和平共处，但就是一种风险。遗憾的是在学术圈儿这几种风险我们都不知道怎么解决。

菠萝：有人说以前搞核弹的时候，大家也觉得这玩意儿要把地球毁灭了，那AI和核弹有啥区别？

徐葳教授：比如造出了一个“沙皇核弹”，大家就觉得足够用了，不需要造一个更大的能把地球炸成两半儿。但AI没有够用的时候，我永远都需要一个更强大的AI，它能帮助我干更多的事儿。AI能力越强，它做事情越便宜，越能融入生活，越能解决更多的问题。人对AI的需求是无限的，无穷无尽，对炸弹的需求是有限的。

而且核弹的研发需要特别复杂的供应链和物资，这些物资从来都被国家管控。但AI不是，AI就需要点GPU算力，理论上讲，任何人有张信用卡，他就可以写出AI。每个人训练AI的目的是不一样的，所以它更加不可控，它跟核安全还是有点区别，它比核安全更复杂。

菠萝：如果有一个邪恶的人说，我就是看人类不顺眼，我要训练一个AI把人类灭了，这是有可能的吗？

徐葳教授：那倒不容易。因为你得给AI足够多的权限。AI如果想毁灭人类，它得有意愿和有能力，这两个事情都得有。它不一定有意愿毁灭人类，但是它有意愿做一些非常危险的事儿。它可以撒谎，它可以骗你说我没做，但是实际上它正在做一些非常危险的事儿。还有就是它有没有能力在于你是不是非要给它这个能力。你授权它控制你的核武器，它早晚会发射的。你不授权它，它如果能黑了你的密码，它也会发射的。所以你给它权限越多，它需要的能力就越少，你给它的权限越少，它需要的能力就越多。如果AI比人类聪明很多，你可能什么权限都不给它，它自己黑了你。或者它骗了你，你稀里糊涂把这些权限都给它了。但这需要它有很强的能力，目前还看不到有这种能力的AI。

我们希望安全的AI就是它既无意愿也无能力来毁灭人类。但是它的能力慢慢会增强起来，我们希望它在能力增强到能毁灭人类的时候，它是无意愿毁灭人类的。

菠萝：“阿西莫夫三定律”是哪三个？

徐葳教授：机器人不得伤害人类；机器人必须服从人类命令；机器人在不违背前两定律前提下需保护自身生存。这是一种理想或者一种目标。当年那个年代认为机器人是人类写程序写出来的，它是基于人的思路做出来的，但是现在的AI并不是基于人对这个逻辑和对这件事情的理解做的，所以有可能完全不一样，我们需要从根本上理解它的原理是什么。

AI有意识未必是坏事。你看有些人他有很多的权利，他可以做非常危险的事情，能杀掉很多人。但他为什么不做呢？因为他有自我意识，有社会意识。他知道做完这事的后果是什么，他自己还有诉求，他有贪婪还有恐惧，通过这些控制了人。但是AI如果没有自我意识，它当然也不会有贪婪，也不会有恐惧，我拿什么控制它呢？所以AI有自我意识未必是坏事。

我们测试的AI，你给它压力足够大的时候，什么都敢干。比人更容易干出来，因为人还得顾及一下后果，虽然压力足够大的时候人也会干的，但是AI就更加没有这种顾虑，所以大家就觉得AI更加危险。

菠萝：最近讨论特别多的就是自动驾驶，很多人觉得把生命交给这个车很危险。你属于哪一派？你会交给AI还是自己开？

徐葳教授：我是非常信自动驾驶的，有自动驾驶我肯定要用，其实我也挺会开车的，我觉得自动驾驶是一个信任的问题。

有一次我在巴西开会，跟一个人在车上讨论自动驾驶。那是十多年前，自动驾驶还是一种幻想。然后他说：“有自动驾驶车我也不坐，我觉得那会撞死我。”

我说你看我们在什么地方，我们在巴西的一个乡村公路上坐了一个出租车，司机听不懂英语，开时速80公里在那条弯弯曲曲的小路上，跟他说慢点儿也说不通——咱俩坐在这儿，不也把命交给司机了吗？你是愿意交给司机，还是愿意交给自动驾驶？交给自动驾驶，把咱俩撞死了至少能赔点钱，这连赔都赔不了。

其实从数据上来说，自动驾驶现在安全性还可以，但是为什么大家不信呢？就因为经常看到事故新闻，但这是一种统计上的误区。

还有一部分人不信的原因是不信开发这些东西的人，不信那些资本。大家认为我信的完全是资本家的良心，但凡是他定义成资本家，他为什么有良心？所以大家就觉得这东西我不能信，它肯定可以调得更安全，但为了快速卖钱，能凑合开就卖给我了。所以即便有统计结果，大家仍然相信他应该做得更好，这是我觉得第二个原因。

还有一个原因就是因为自动驾驶出错的场景跟人不一样。AI可能在一些无法预料的场景出现错误，可能大家觉得我干了一个很安全的事儿，结果出了事故，大家不喜欢这一点。这个原因很多，就跟现在的AI的原理是有关系的。就是它并不知道那些长尾场景，它只是记住了一些场景应该干什么，但是它不一定能像人一样分析在这个场景下我应该干嘛，所以才会导致在一些非常愚蠢的情况下它会出错，人反而不会出。但是我要是80岁了，我会出错的地儿比AI多100倍，但我也不一定在AI撞车那时候撞。

菠萝：人工智能已经在提高很多的事情的效率，但是好像提高了以后，大家的幸福感也不一定很高，效率提高了以后似乎干的活更多了而已。

徐葳教授：我认为现在AI提升效率这件事情，都是个人的行为。你看现在卖得好的几类AI就是会议记录器、AI编程、AI写稿……这都是提升了个人的行为，很多这种东西它不是公司配发给你的，是自己想做的。

我们现在还没看到AI能提升整个公司的效率，或者提升了公司效率干什么？如果公司效率提升了但没有更多的客户，那还是没活儿可干。

这也是AI医疗的一个非常大的问题。比如如果AI把看片子提升效率十倍，放射科医生就会说我为什么要提升十倍呢？那机器能照出十倍的人吗？

所以我用了AI，最好公司不知道我效率提升了十倍，我可以有九倍的时间打打游戏，刷刷小红书，拉动一下内需。但是如果公司知道了，这事儿就白干了。

从公司中层来说，如果我是公司的技术总监，我的程序员都在用AI写代码，公司要是知道了，那我的人要砍掉一半，但是公司哪有那么多业务？人砍掉一半，我的总监就变经理了……

高层也一样，提升了效率也没有更多的生意来做。人闲了就会出事儿，人闲了就会瞎想乱七八糟的事情，那就乱了。

菠萝：我们现在日常已经开始受到困扰的就是AI的伪造。你觉得从安全的角度，我们有办法识别这些东西吗？技术层面真的能识别这个东西是不是AI生成的吗？

徐葳教授：现在有很多的方法能做，但是道高一尺魔高一丈，你会发现这件事情越来越难，现在做出来的东西越来越真。原来识别的时候靠一些模型水印，就是大模型生成的时候，特意的造了一些artifact在里面，希望它能够被识别出来。但现在因为有开源模型，稍微调一调这模型它就没有水印了，或者生成的东西后处理一下，就没有水印了，所以这一类的事儿现在越来越难了。而且因为缺少足够多的测试和测试方法，所以很难说这个模型是不是会造成风险。

现在唯一我们能够想到的就是，希望所有训练模型的人都比较负责任，不要让它轻易伪造这些东西。但是改造这些模型也很简单。所以现在我们能做或者在做的事情就是要收集一系列的数据集和考试。

你知道AI的行业是怎么发展的吗？AI的行业是靠‌benchmark（基准）发展的，或者就是靠考试发展的。大家都卷这个考试题，AI能力就提升了。目前卷伪造和检测伪造的考试题太简单，它就卷不上去。最近我们在做一套伪造的数据集，就是把这个伪造的东西做得巨复杂，你都看不出来它是伪造的，如果这种测试题被大家拿去‌做训练，我相信就会有聪明的人把AI调出来。所以你看AI领域的发展，你想解决个什么问题，最核心的是先出一套题。出完了题之后，总会有人有这个耐心和有这个思路和聪明的想法去解决这题。AI的能力就是这么卷上来的，我觉得AI安全也需要这么卷上来。

菠萝：我上次和你聊的时候，还有一件事儿印象特别深，现在医院里面老专家特别受欢迎，年轻医生很多就在看病，也特别忙。你说到未来也许压根儿就没有那么多年轻医生需要在医院不停的通过看病来提高自己的技术。是不是年轻医生每人带个VR或者什么，就跟打游戏一样，在家里自己去训练就可以了？

徐葳教授：我觉得这是一个没办法的事儿。不光是医生，很多领域招聘都不太招初级人员了。这个对脑力劳动者是一个巨大的打击。

一个很严谨的研究说，AI用得多的公司，对于入门级别的招聘打击很大，对于资深的招聘打击还没有那么大。这不是AI的问题，是因为资深的人有自身的一些用途价值，他需要负责任，他需要做最后的评判。AI说的和人说的不一样的情况下，他要决定用哪个。但是初级的人从能力上来说，他本身就不如AI。

医生有他的特殊性，他应该回到更加人文的维度。为什么我们还做AI医疗？就是因为我们认为现在中国其实医生也不算缺，但是大家都挤到三甲医院了，基层的医生没有人信他。所以医疗资源分布不均，忙的忙死，闲的没什么病可看，能力也不会提升。

但问题是没有初级的人，高级的人从哪里来呢？现在这一代人他不会考虑这事儿，不招初级的人了，省了很多事儿。但是未来高级的人从哪儿来呢？所以他必须在学校里学到能够做更复杂的事儿的地步，对学校教育的压力会变得更大。但我觉得教育本来就是这样的，教育是不断的在发展的，人肯定越学越多。

菠萝：AI会替代医生吗？在短期内咱们能看到AI在医疗领域最成功的一些例子是什么？

徐葳教授：我是最反对AI替代医生这种说法的。我觉得医生再多点也不觉得多，去替代他没意义。AI能够帮助医生提升能力，然后让医生自己去看病人。我们帮助医生提升两种能力：临床能力和科研能力。

我之前有一段时间没做AI医疗了，因为我觉得上一代技术不是特别能解决我们最想解决的问题，它没有通用性，研发成本太贵了。但是现在来看，大模型通用能力足够的强，能读懂医疗指南，所以我们现在又开始做一些探索。

大模型可以做数学的推理，推理都是用数学训练出来的。最近我们在研究能不能拿医疗推理过程训练出来医疗推理能力，并不是说靠无穷多的医疗数据来发现医疗规律。因为就算发现了统计上的医疗规律，但是仍然需要循证医学的证据。统计规律是科研方面所需要的，但是临床方面我们认为就应该遵循医生的逻辑，医生的诊疗方法和诊疗习惯，或者遵循某一个指南来诊断。

所以提升大模型的医疗推理能力，也是我们现在在慢慢探索的一件事。尤其多模态的推理能力，甚至可以比人做的更好。大家可能会看到，放射科的报告上写着：请结合临床判断，但总有些医生就看看放射科怎么说的，病理科怎么说的，就直接诊断了。所以这个其实是割裂的，但AI可以一起看，它两个知识都具备，所以这些也许比医生做的更好。

具体的应用场景和应用方式，其中一类就是医生的助手，把它放在医生的旁边。医生跟病人交谈的时候，它会给一些提示，提示你应该问问病人一些情况，比如病史。它还可以告诉你还应该做什么检查。甚至会提示医生询问病人某些病症好了没有，提升人文关怀，让病人觉得医生还记得他。确保你问的问题问到点子上，排除一些罕见疾病，也确保没有典型的漏诊。医疗过程是一个多轮的沟通。

菠萝：最后问两个关于专业的问题，第一个问题，现在计算机还是一个好的专业吗？第二个问题，学计算机和学人工智能是什么样的关系？

徐葳教授：计算机还是个好的专业吗？我觉得在这个技术剧烈变革的时代，没法预测什么是好的专业了，我们不知道人类未来需要什么。在这种情况下，好专业就是适应性更强，不光是学这个技术本身，而是学到了某种交叉学科的能力，或者对于技术发展的适应性。

从这个角度来说，计算机专业为什么长盛不衰？就是因为它一直不断适应，不断在跟其他的东西相结合，这才是这个专业能长盛不衰的原因。因为我们要时刻把自己的工作搞没，这个专业才能发展，这个专业才能进步。

在技术发展的时代，所有的专业都会被搞没。在经济快速发展的时代，很多专业都会消失。如果这个专业过于狭窄和抱着它的方法论不放，这个专业就不是好专业，最后死的就是这个专业。

回答第二个问题，AI有不同的领域和方向。目前赢的AI是神经网络这一套和强化学习这一套，没有那么多高深的计算机理论。计算机科学是一种教育学的方法，或者说是一种方法论。计算机的科研，很多时候不一定是为了完成这件事儿，它是跟人才培养结合的，即使没用或者没做出来，学生必须学到了一些实际的，可以用在不同地方的技能。

所谓的天坑专业为什么是个坑？如果科研没做出来，就没学到有用的东西。但计算机行业绝不是如此，所以学计算机是没问题的。而且我建议大家学一些交叉学科的专业，只要人的能力在，就能适应变化。

希望大家都能去掌握一些通用的技能，拥抱变化的能力和心境，把工具做成熟，把自己卷死！

—听徐教授聊更多关于AI时代—

/本期志愿者/

致敬生命！