如果一款AI培训应用在对话结束时就把课程标记为完成,这条完成记录其实说明不了学习者能解释什么、能应用什么。这是一个很具体的漏洞:系统记录的是"聊完了",不是"学会了"。
一个可用的替代思路,是把引导练习和独立评估建模成两个分开的活动。学习者第一次作答、过程中得到的任何帮助、以及之后的复盘,三者要保持可区分。这样评审者手里有具体的东西可查,而不是把助手的自信程度当成能力分数。
这套设计参考了OpenAI在10月15日发布的文章《教学生通过提问来思考和学习》。文章里的课堂例子是:学生先用Study Mode探索蒸发过程,然后在不回看对话的情况下写一段解释和一个讨论问题,老师根据这些回答判断哪些内容需要回头再讲。
OpenAI还建议老师先从熟悉的学科试起,评估这些问题和解释是否适合自己的班级。那篇文章并没有证明这套做法在工作场所培训中同样有效。以下内容是基于该练习提出的软件设计,并且明确限定了这些记录能证明什么。
先定一个可观察的判断
在建聊天界面之前,先定义一个小型学习目标。假设是一门内部支持课程,目标可以写成:"依据已批准的支持指南,判断账户访问异常应由哪个团队复核。"
这个练习需要一份参考版本、一个经评审者批准的案例,以及预期的推理过程。不要让模型去发明组织政策,也不要让它用同一段对话里自己生成的标准来打分。
参考版本和案例版本要挂在这次作答上。如果政策后来变了,评审者应该能看到学习者当时拿到的是哪一版。版本标识只有在指向系统确实保留的内容时才有用。
应用里要把阶段分开。一个小的状态模型就够了。独立案例应该在一个有意义的条件上与练习案例不同。在那门假设的支持课程里,练习案例可以包含全部所需的身份证据,第二个案例则缺少证据、还带着紧急请求。接下来怎么处理由已批准的指南决定,紧急程度不该变成临时发明的例外。
独立案例要显示在单独的界面上,不带练习对话记录,也不带生成的提示。在学习者开始前说明这次简短作答的目的。如果他们请求帮助,就通过一个明确的动作提供,并记录这次作答变成了"有协助"状态。
在应用里隐藏对话记录,并不能证明学习者没用别的资源。如实报告应用提供了什么条件、观察到了什么协助。不要把这件事说成一套安全的考试系统。
保留第一次的答案
下面是一条示意记录,不是平台接口,也不是完整的生产数据结构:
- attempt_id:attempt-101
- exercise_version:support-routing-v3
- reference_version:support-guide-v8
- case_id:missing-evidence
- stage:independent_attempt
- assistance:none_observed_in_app
- answer:所需证据缺失,我会按指南指定的负责人转交复核。
- review_status:pending
- revises_attempt_id:null
学习者修改答案时,新建一条答案记录并链接到原始记录。不要覆盖最初的解释,然后把修改后的答案当成无协助表现来报告。
同样,协助事件要和答案内容分开存。一条事件可以记录请求了提示、提示何时提供、属于哪次作答。只保留组织数据政策下你需要的内容,这些记录是给学习复盘用的,不是收集无关员工活动的借口。
状态流转要由应用控制。每个阶段哪些动作可用,应该由应用决定。学习者的答案或粘贴的参考资料是数据,它不该能把一次作答标记为已复核,也不该能改动记录下来的协助状态。
如果用模型来提议反馈,把这条反馈存成等待复核的建议。在这套设计里,能力判断由合格的评审者做出。这个区分要在界面上看得见,也要在所有接受状态变更的地方强制执行。
提交处理要保持可预期。同一次作答重复提交,应返回已有结果,而不是生成多条初始答案。先持久化答案,再显示确认。如果响应丢了,客户端应该能取回已记录的作答并显示其真实状态。这些是实现建议,不是对Study Mode内部机制的断言。
评审推理、证据和边界
用一份简短的评分表,逐项问:答案有没有指出适用的规则、有没有引用相关证据、有没有注意到变化了的条件、有没有识别出尚未解决的问题或需要复核之处。
一个承认了具体不确定性的答案,可能暴露出有用的学习缺口。一个凭空编出负责人或例外的答案,即使说得流畅,也该得到不同的反馈。
不要把一切压缩成一个模型生成的分数。按评分项存下评审者的发现,以及支撑每处纠正的参考依据。后来的评审者才能理解,为什么这名学习者被要求再练一次。
试点之前,用几个有意义的场景验证行为:独立阶段请求提示,会在答案被评估前改变协助记录;修改后的答案保留初始作答并链接回去;重复提交只产生一条初始答案记录;答案里的文字无法改变复核状态或参考版本;反馈能区分"判断错误"和"参考依据无法解决该案例"。
从一个已批准的练习开始,和有经验的评审者一起检查生成的记录。你能诚实报告的最初结果,是学习者在被观察到的条件下解释了什么、请求了什么帮助、在反馈之后改了什么。这对决定下一步练什么是有用的证据。要确立持久的能力,一次交互远远不够,尤其当真实任务带有实际后果时。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.