上海
AI范儿 · 产品拆解⏱ 4 分钟
说实话，我现在大部分时候，包括写这篇文章，都是用语音输入法来完成的。
语音正在慢慢变成我使用软件最自然的一种方式，而且它的速度确实会比打字快很多。
但现在的语音产品，已经不只是"语音转文字"这么简单了。它开始能够理解语义，真正知道你想表达什么，还能结合上下文，甚至直接帮你完成一些操作。
这里列了三种不同的语音使用模式：
1. 语音交互模式 这种模式不仅能理解我们说的话，还能帮我们真正去执行任务。比如我们常见的点外卖、点奶茶等操作。
2. 系统到语音模式 软件能将上下文信息转化为实时的语音提示。比如系统会通过语音方式提醒你：“现在该去登机了。”
3. 实时语音交互模式 这更多是指实时的翻译对话或同声传译等应用场景。
某种程度上，语音正在变成一种新的交互界面。以前是点图形界面，配合打字输入，但现在越来越多的软件开始变成"直接对话"。
就在昨晚，OpenAI 又发布了一套新的实时语音模型。核心其实就一句话：
AI 不只是能听懂你说什么了，它开始能一边听、一边理解、一边行动了。
这一次一口气发布了三个模型，但最核心的是 GPT-Realtime-2。
01GPT-5 级推理能力
OpenAI 表示，GPT-Realtime-2 是他们第一个具备 GPT-5 级别推理能力的实时语音模型。
以前的语音助手，就是你一句我一句的，Siri 那种。没法处理上下文，更别说主动完成任务了。
但这个东西开始有点像真正的 Agent 了。它不仅能理解对话，还能调用工具、处理中断、保持长上下文记忆，甚至在对话过程中持续推理。
比如你说一句："帮我订一张明天下午去上海的票，最好靠窗，顺便看看天气。"
它不是机械地拆关键词，而是真的会一步步开始完成任务。这已经很接近我们理想中的 AI 助理形态了。
OpenAI 在这里举了一个例子，就是说他跟那个语音助手说：“我现在要去开一个客户会了，那你能帮我检查一下那个日程安排吗？”
它很快就帮他查好，并告诉他接下来的日程安排是什么样子的。
这个时候突然有个人插进来要跟他讲话，他就跟助理说：“你稍等一会儿，我现在要跟那个同事讲话。” 那个助理就安安静静地待在后面。
再之后，他又继续回到跟助理的对话中。
然后他就跟它讲，把今天重要的内容更新到 CRM 系统里去。它就调用了 CRM 系统，然后把它更新进去了。
特别有意思的是，它不仅能听懂你说的话，而且还会跟一个真人一样：在需要它安静待在那边的时候，它就待在那边；最后还能帮你具体执行一些任务，而不只是对话了。
还有一个大升级：上下文窗口从 32K Token 直接提升到了 128K Token。
以前聊久了，AI 很容易"失忆"。现在这种情况会好很多。
02它开始懂语气了
一个很有意思的点，是它开始强调"语音里的情绪感"。
OpenAI 提到，它会更自然地控制语调和反馈方式。提问时保持冷静，用户沮丧时给予理解，问题解决后表达积极的反馈。
这特别像真人沟通里的"语气"。
很多时候，人与人交流，真正影响体验的，并不是答案本身，而是说话方式。
这也是为什么很多事情当面聊比打字要好得多，文字是冷冰冰的，语言本身是有情绪在里面的。
另一个变化是，它现在支持并行工具调用。可以同时处理多个任务，而不是像以前那样一个一个排队。
在基准测试里，Big Bench Audio 数据从上一代的 81.4% 提升到了 96.6%。
03同声传译要来了
另一个模型是 GPT-Realtime-Translate，专门做实时翻译。
它支持 70 多种输入语言，输出 13 种语言。
重点不是"翻译"本身，而是它已经开始接近"同声传译"了：一个人讲话的时候，它几乎可以同步把另一种语言说出来，还能尽量保持原本的语速、语气和上下文。
口音、专业词汇、上下文切换，都能处理。
OpenAI 在这里举了一个例子：一个人在用法语演讲，通过电脑实时转成了英语；接着另一个人直接用德语打断，系统也能直接翻译成英语。
更厉害的是，其中涉及到的一些专业词汇，比如 GPT、Computer Use 等等，它都能够帮你很好地解释出来。
这个东西一旦成熟，真的会很夸张。
旅游、跨国会议、客服、教育，甚至直播行业，都会被影响。
感觉同声传译行业要被颠覆掉了。
提示坦率讲，我在会议现场看到过实时字幕翻译，确实蛮震撼的。但现在能力还太弱，明显能看到一些错误翻译。这次的更新，是奔着真正可用去的。
04边说边出字幕
最后一个是 GPT-Realtime-Whisper，主要负责实时转录。简单讲，就是边说边出字幕。
会议记录、课堂字幕、活动直播、实时笔记，这些场景都非常适合。
这次发布的，其实还只是 API，目前更多还是给开发者用。但 OpenAI 表示，很快会进入到 ChatGPT 里面去。已经有网友发出内测体验了，感觉很爽。
说实话，我非常期待这个功能。有了它，做项目的时候不需要再盯着 Codex 一直打字了，直接说："帮我做这个，帮我做那个！"它调用工具帮你全做掉。
这就是为什么越来越多 AI 产品开始"语音优先"。以前认为 AI 的入口是聊天框，但接下来，它很可能慢慢变成麦克风。
你不用再"输入 Prompt"。
因为相比键盘，人类本来就更擅长说话。
你现在用语音输入的频率高吗？聊聊你觉得最大的障碍是什么
觉得有用 → 点个❤️在看转给朋友
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
