通义千问推理模型QwQ-32B，开源！

导语：

3月5日， Richard Sutton 与导师 Andrew Barto 因其对强化学习（Reinforcement Learning）做出奠基性贡献，获得2024年的图灵奖。

3月6日，阿里通义千问正式推出最新推理模型 QwQ-32B，其参数量为 320 亿，测评性可以比肩 6710 亿参数的 DeepSeek-R1 。

阿里Qwen团队在技术博客中分享了技术实现，并列出未来计划：

「这是 Qwen 在大规模强化学习（RL）以增强推理能力方面的第一步。通过这一旅程，我们不仅见证了扩展 RL 的巨大潜力，还认识到预训练语言模型中尚未开发的可能性。在致力于开发下一代 Qwen 的过程中，我们相信将更强大的基础模型与依托规模化计算资源的 RL 相结合，将会使我们更接近实现人工通用智能（AGI）。此外，我们正在积极探索将智能体与 RL 集成，以实现长时推理，目标是通过推理时间扩展来释放更高的智能。」

让我们共同期待，Qwen和其他优秀模型以强化学习（RL）为引擎，终将解锁在复杂任务中自主推理、多目标决策的智能潜力。

QwQ-32B 在一系列基准测试中进行了评估，测试了数学推理、编程能力和通用能力。下图展示了 QwQ-32B 与其他模型的性能对比，包括 DeepSeek-R1-Distilled-Qwen-32B、DeepSeek-R1-Distilled-Llama-70B、o1-mini 以及原始的 DeepSeek-R1。

在数学能力的 AIME24 测评集上，以及评估代码能力的 LiveCodeBench 中，通义千问 QwQ-32B 测试表现与 DeepSeek-R1 相当，远胜于 o1-mini 及相同尺寸的 R1 后续模型。

由 Meta 首席科学家杨立昆领衔的“最难 LLMs 测评榜” LiveBench、谷歌等提出的指令遵循能力 IFEval 测试集、由加州大学伯克利分校等提出的评估调用函数或工具方面的 BFCL 测试中，QwQ-32B 的得分均超越了 DeepSeek- R1。

在冷启动基础上，我们针对数学和编程任务、通用能力分别进行了两轮大规模强化学习。在初始阶段，我们特别针对数学和编程任务进行了强化学习。与依赖传统的奖励模型（奖励模型）不同，我们通过生成答案的正确性来为数学问题提供反馈，并通过代码执行服务器评估生成的代码成功，通过测试来提供代码是否提供反馈。

我们发现在强化学习扩展过程中，随着训练轮次的推进，这两个领域中的性能均表现出持续的提升。

在第一阶段的强化学习之后，我们增加了另一个针对通用能力的强化学习。该阶段使用通用奖励模型和基于一些规则的验证器进行训练。我们发现，通过少量步骤的通用强化学习，可以提升其他通用能力，同时在数学和编程任务上的性能没有显着下降。

此外，通义千问 QwQ-32B 模型还集成了与智能体 Agent 相关的能力，使其能够在使用工具的同时进行批判性思考，并根据环境反馈调整推理过程。

目前，通义千问 QwQ-32B 已经在魔搭社区及 HuggingFace 开源，并采用了 Apache 2.0 开源协议，欢迎大家下载体验。

以下为 API 调用示例代码：

from openai import OpenAI
import os

# Initialize OpenAI client
client = OpenAI(
# If the environment variable is not configured, replace with your API Key: api_key="sk-xxx"
# How to get an API Key：https://help.aliyun.com/zh/model-studio/developer-reference/get-api-key
api_key=os.getenv("DASHSCOPE_API_KEY"),
base_url="https://dashscope.aliyuncs.com/compatible-mode/v1"
)

reasoning_content = ""
content = ""

is_answering = False

completion = client.chat.completions.create(
model="qwq-32b",
messages=[
{"role": "user", "content": "Which is larger, 9.9 or 9.11?"}
],
stream=True,
# Uncomment the following line to return token usage in the last chunk
# stream_options={
# "include_usage": True
# }
)

print("\n" + "=" * 20 + "reasoning content" + "=" * 20 + "\n")

for chunk in completion:
# If chunk.choices is empty, print usage
if not chunk.choices:
print("\nUsage:")
print(chunk.usage)
else:
delta = chunk.choices[0].delta
# Print reasoning content
if hasattr(delta, 'reasoning_content') and delta.reasoning_content is not None:
print(delta.reasoning_content, end='', flush=True)
reasoning_content += delta.reasoning_content
else:
if delta.content != "" and is_answering is False:
print("\n" + "=" * 20 + "content" + "=" * 20 + "\n")
is_answering = True
# Print content
print(delta.content, end='', flush=True)
content += delta.content

开源地址

魔搭社区

https://modelscope.cn/models/Qwen/QwQ-32B

Hugging Face

https://huggingface.co/Qwen/QwQ-32B

通义万相，开源！

通义两大模型，正式开源！