网易首页 > 网易号 > 正文 申请入驻

具身认知系统性综述:儿童-计算机交互11年研究

0
分享至

Asystematic survey on embodied cognition: 11 years of research inchild–computer interaction

具身认知系统性综述:儿童-计算机交互11年研究

https://www.sciencedirect.com/science/article/pii/S2212868922000174



摘要

具身认知是一个已被儿童-计算机交互(Child–Computer Interaction)学界学者广泛探讨的概念。然而,目前尚缺乏对这一研究的综合梳理,以厘清该领域的优势与不足。本文呈现了一项针对2010年至2020年间发表于《交互设计与儿童》(Interaction Design and Children, IDC)会议及《国际儿童-计算机交互期刊》(International Journal of Child–Computer Interaction, IJCCI)上的文章所做的调查。我们使用关键词"embodied cognition"及其衍生词检索到158篇论文,经进一步筛选后缩减至43篇。本综述的目的在于通过报告最常见的应用主题领域、具身的形式与模式,以及儿童和成人在其中所扮演的角色,来概述"具身"研究的当前面貌。我们的贡献有两方面:一是突出该领域内围绕这些主题的主要趋势,二是提出八个关键的未来研究方向。通过阐明新的挑战与机遇,我们旨在支持CCI社群中这一研究领域的发展。

1. 引言

具身认知是一个概念,它表明我们的学习主要是通过身体进行的,而不仅仅是通过大脑。它基于这样一个前提,即在大脑的认知过程中,大脑与身体紧密相连。它源于哲学背景,但已扩展到心理学、认知科学和神经科学等多个领域。具身认知的具体焦点围绕着具身的抽象隐喻、将认知过程外部卸载,以及在不同认知发展阶段中物理约束的运用。尽管在2012年至2017年间,儿童-计算机交互(Child–Computer Interaction)社群对具身认知的兴趣有所下降,但在过去三年中,对该主题的探索一直在增长。Giannakos等人在其文献综述《通过共词分析描绘儿童-计算机交互研究》中,讨论了2003年至2012年间儿童-计算机交互(CCI)社群对具身认知的初步兴趣(Giannakos, Papamitsiou, Markopoulos, Read, & Hourcade, 2020)。他们指出,此后的减少可能源于具身认知与编码和交互界面等主题的隔离,以及无法将其与外部领域重新联系起来。

然而,Dourish(2004)在其著作《行动所在:具身交互的基础》中,为“具身的”交互风格的重要性提出了论证。他解释说,除了涉及文本、符号和图形的技术之外,具身交互是设计日常交互的下一步。可以认为,随着普适多感官技术的增长以及全球疫情的到来——这使得面对面交互的减少成为必要——具身技术的地位现在比以往任何时候都更为关键。具身交互可以与其他涉及外部实时刺激的交互技术相结合和整合,例如增强现实、混合现实和虚拟现实(AMVR)以及触觉、空间和多感官界面。这些技术范围从单传感器和多传感器设备到构建为嵌入式学习环境的整个教室(Novellis & Moher, 2011)。

多位作者根据应用背景,以不同方式定义和探索了这些具身交互。Abrahamson和Trninic将具身交互描述为“亲手参与”的技术活动,这些活动能在“微世界”中实现某种程度的身体沉浸,涉及身体各个部位甚至整个身体的运动,这些运动成为所学“感知运动结构”的一部分(Abrahamson & Trninic, 2011)。在此背景下,对此类感知运动结构作为具身和认知途径的关注,高度聚焦于特定运动如何与视觉相联系。这些“微世界”起到约束作用,既可以是想象性的(Novellis & Moher, 2011),也可以是实体性的(Kourakis & Parés, 2010; Peppler et al., 2010)或虚拟的(Blanco, Landry, Mazzone, & Parés, 2010)。交互中的具身运动也可以为探索概念性想法提供独特的机会。这可以应用于在这些微世界中创建社交和游戏伴侣及智能体。然而,研究发现,尽管儿童最初对玩此类机器人玩具感到兴奋,但他们的兴趣和参与度会随时间消退(Fernaeus, Håkansson, Jacobsson, & Ljungblad, 2010)。拥有智能体的多种具身形式并在它们之间迁移,可以解决参与度下降的问题,并促进交互流(Gomes et al., 2011)以及此类智能体的普适性。

除了具身的类型或模式之外,其他因素也在影响儿童对具身技术的参与方面发挥作用。Antle, Wise和Nielsen(2011)解释了认知负荷理论在实体和具身系统设计中所起的作用;由于工作记忆的容量是有限且暂时的(Sweller & Chandler, 1991),我们自然会寻求将认知外部卸载或扩展到外部。具身认知的一个组成部分是将认知卸载到大脑之外,要么卸载到身体上,要么通过将我们的心智扩展到其他物体上。这些认知卸载模式在不同认知发展阶段可能有所不同。根据皮亚杰的理论,认知发展有四个阶段(Piaget & Inhelder, 2008):感知运动阶段——出生至18-24个月;前运算阶段——幼儿期(18-24个月)至童年早期(7岁);具体运算阶段——7至11岁;形式运算阶段——青春期至成年期。动态的发展轨迹会考虑这些不同发展阶段如何具身化知识。

尽管关于皮亚杰阶段的一致性(Driver, 1978)及其所暗示的心理行为(Kuhn, 1979)一直存在争议,但当采取建构主义观点时,它们可能是一种特别有用的分类方式(Lefa, 2014)。皮亚杰关于感知运动活动在日常认知中作用的研究以及他的建构主义理论,显示了身体在认知过程中的重要性(Lozada & Carro, 2016; Mora-Guiard & Pares, 2014)。虽然认知在不同发展阶段有所不同,但感知运动阶段已被发现是人类如何具身认知的完美模板,因为该年龄段的儿童不断通过体验性运动和感觉以及环境影响来吸收信息。Antle认为(Antle, 2013),将具身认知应用于为智力发展设计交互系统时,应关注不同的“发展轨迹”,并考虑儿童未来的能力和思维,而不是对其当前能力做出假设。

对这些能力和技能,以及影响具身交互设计的其他因素的考量,在使用微软Kinect等非接触式技术为有特殊教育需求的儿童进行设计时可能是有利的(Kourakli et al., 2017)。根据Cattell-Horn-Carroll综合模型(McGrew, 2009),有特殊教育需求(SEN)的儿童可以从一系列技能中受益。这些技能也可以普遍应用于儿童-计算机交互,并被分解为不同领域:认知技能、运动和感觉技能,以及学业技能。认知技能进一步细分为短期记忆、视觉处理和结晶智力。运动和感觉技能包括动觉技能和精神运动速度,学业技能则侧重于运算和计算,以及认知处理速度。

着眼于这些不同的主题,对本领域而言,审视历年的模式、寻找探索中的空白以及具身交互的情境化定位是有益的,特别是考虑到过去一年的远程交互。本系统性综述旨在对CCI社群的两个主要场所——交互设计与儿童(IDC)会议和《国际儿童-计算机交互期刊》(IJCCI)——中围绕具身认知的不同层面和概念进行深入分析。通过将综述范围缩小到这两个主要场所,我们能够更集中地聚焦于具体概念和主题,同时获得该领域的总体概览。其目的在于专门审视CCI社群内部的当前状况,因为目前尚未有一份针对这两个主要场所的、作为参考点的全面综述总结。本综述旨在作为一份初步的探索性总结,为研究人员在未来基于已有成果开展工作提供一块垫脚石。将范围限制在这两个场所也是出于务实考虑,以帮助保持可控的论文数量。虽然来自其他相关场所和出版物类型(如教育、心理学、神经科学或机器人学)的工作会被引用,以提供样本之外已有研究的大致背景,但本综述并非直接将本社群与其他领域进行比较,而是在社群内部创建一份深入的总结。未来的工作将以这一参考点为起点,向不同方向拓展,例如,与其他相关领域进行扩展性比较。

我们的目标是提供过去11年间CCI研究中具身认知的详细概述,更重要的是,深化对具身认知在未来围绕为儿童设计技术及与儿童共同设计技术的调查和讨论中所起作用的理解。本文的结构如下:首先是对具身认知及相关领域的论述;接着讨论我们进行系统性文献综述的方法,包括研究论文的筛选和分析方式;随后是研究结果的呈现;最后是对主要发现的讨论,以及为CCI社群提出的八个未来研究主要领域的建议。

2. 背景

虽然具身认知最初起源于哲学(Clark et al., 2008, 2008; Lakoff & Johnson, 1980)、认知心理学(Smith, 2005)、机器人学(Arbib, 2006)等领域,但多年来它已变得更加具体,如今被视为一个独立的领域(Abrahamson et al., 2020)。虽然我们的引言部分探讨了CCI领域内的具身认知,但它也在之外的多个领域被调查和应用(Fugate, Macrine, & Cipriano, 2019)。

Johnson认为,具身认知源于哲学的两大支柱:自然主义和现象学(Johnson, 2006, 2007)。自然主义意指万物的“自然涌现”(Aikin, 2006),而现象学意指主观的“经验意义”(Gallagher & Zahavi, 2020)。Leitan和Chaffey(Leitan & Chaffey, 2014)在其对具身认知及其应用的综述中解释道,现象学和自然主义的解释都认为,身体(无论是通过生物构成还是主观经验)和世界都是认知的重要组成部分。他们的综述被概括为具身认知的四个主题:

• 身体、环境/工具、社会历史和内部表征构成了具身的心智
• 具身的心智将记忆分布到身体、环境和工具中,并且这是在情境基础上进行编码的
• 这种“情境化的具身行动”帮助我们理解和解释语言及抽象概念。
• 感知和行动是“不可分割的”。

因此,认知被理解为置身于身体之中并与外部世界相关联。据说身体在认知中具有积极的、直接的作用,而不仅仅是“服务于”心智。Leitan和Chaffey接着解释了Shapiro的论点,即关于具身性有三种主要观点(Shapiro, 2011);替代(用替代方案取代传统的认知方法和理解)、概念化(身体如何影响我们概念化经验和奠定认知基础的方式)以及构成(什么被视为认知)。这些观点为思考具身心智时经常提出的问题提供了洞见。

身体强烈影响我们感知和解释信息的方式,尤其是在儿童中(Antle, 2013)。对颜色等视觉特征(Harman, 1996; Varela Francisco, Evan, & Eleanor, 1991)、空间信息(Carlson & Kenny, 2005)以及隐喻的理解/解释(Gibbs, 2005; Mervis & Rosch, 1981)的感知,取决于实体的物理具身性。语言学实验发现,儿童的文化,尤其是母语,会影响他们“认知路径”和“心智模型”的创建(MacWhinney, 2005)。我们日常的社会历史经验也影响我们理解隐喻的方式(Bourdieu, 1990; Gibbs, 2003)。隐喻常被视为具身性的基础,并有意识地在(语言层面上)和无意识地(通过不同的抽象概念)被操作化。George Lakoff和Mark Johnson(Lakoff & Johnson, 2008)在《我们赖以生存的隐喻》中解释了普遍隐喻如何存在于日常交互中:“我们的隐喻将反映我们在世界中的日常经验。不可避免地,许多基本隐喻是普遍存在的,因为每个人都拥有相同种类的身体和大脑,并且生活在基本上相同种类的环境中”。

利用这些见解,我们在为儿童设计具身技术时可以提出以下问题:

• 我们如何将用于语言和抽象概念的输入-处理-输出技术替换为更具动态具身性的系统?
• 我们如何定制技术以反映和回应不同的社会历史、群体和人类发展阶段(例如认知发展阶段、性别等)以及信息的概念化?
• 环境/技术与心智之间的边界在哪里,在自然情境中,认知过程有多少可以卸载到日常技术交互中?

具身认知具有广泛的应用,包括健康、市场营销、体育、社交媒体、教育、机器人学、语言学等。对这些具身认知主题的理解也有助于设计出对环境更具响应性和适应性的机器人;例如,通过精简物理属性、运动和传感器(Clark, 2001),雌性机器蟋蟀可以识别并定位雄性机器蟋蟀的声音(Webb, 1996)。对具身性以及心智超越身体之外延伸的理解也具有超人类主义的意涵(Lorrimar, 2019)。具身性作为一个整体,在设计和研究以人为中心的教育技术方面一直具有优势(Sullivan, 2018),尤其是在数学等学科中(Flevares & Perry, 2001)。Abrahamson等人解释说,具身运动通过结合和交织来自遗传认识论、生成主义、现象学、实用主义和教学法文献等多个相关概念的知识来做到这一点(Abrahamson et al., 2020)。

在HCI社群中,Abrahamson(2009)鼓励在STEM学习中采用“具身设计”方法,并通过基于手势的技术(Abrahamson, 2004; Enyedy, Danish, & DeLiema, 2015; Flevares & Perry, 2001; Flood et al., 2015; Flood, Schneider, & Abrahamson, 2015)和游戏化(Abrahamson & Bakker, 2016)对此进行了探索。虽然在该社群中未被充分探索,但具身认知在STEM之外(如语言学、文化研究、艺术、文学)具有众多潜在应用(Krois, Rosengren, Steidele, & Westerkamp, 2007)。具身认知的主要理论之一提出,知识存在于感知运动活动中。Putnam(1980)将“脱离身体的心智”解释为具有不聚焦于大脑和身体的活动,而是基于功能主义。虽然可以说没有哪种交互是完全脱离身体的(Lee, Jung, Kim, & Kim, 2006; Tian, 2017),但信息、知识、内容、智能体或技术的呈现方式可以是脱离身体的或具有低水平的具身性(Johnson-Glenberg, Megowan-Romanowicz, Birchfield, & Savio-Ramos, 2016; Sullivan, 2018)。主要聚焦于具身知识的研究不仅仅调查“对情境的提取出的言语或形式化描述,而是感知解释和运动交互”(Goldstone, Landy, & Son, 2008)。

Johnson-Glenberg等人(2016)解释说,任何内容要被视作“最低限度具身的”,需要具备三个概念:(a)感知运动参与,(b)手势一致性,以及(c)沉浸感;否则该内容只能被称为模拟。Lee等人(2006)将具身机器人定义为同时具有物理形态以及嵌入式传感器和电机的机器人。因此,基于这些对具身性的定义,本综述旨在调查被视为最低限度具身的出版物,不仅关注具身学习,也关注CCI社群两个主要场所内的具身认知。

2.1. 现有综述

Antle(2013)分解了当前工作的理论意涵,并强调了需要进一步探索的关键领域:理解并设计以支持儿童的动态发展轨迹、将认知卸载到技术产品上,以及支持“基于运动的模拟”或复制增强儿童认知的“运动-感知状态”。我们的综述在此基础上更进一步,着眼于这些领域在过去十年中是如何被处理的,以及存在的空白。本综述对该领域进行了更为定量和系统性的探索。另一篇同样总结了发展与趋势的具身认知综述是Lee-Cultura和Giannakos(Lee-Cultura & Giannakos, 2020)的研究,该研究审查了2008年至2018年10年间的36篇同行评审论文。然而,尽管与具身认知相关,他们的综述主要聚焦于具身交互与空间技能的交叉点,而非对该主题的全面概述。

尽管这些综述都聚焦于具身交互,但它们在范围上有所局限,并未呈现一个可作为研究人员起点的全面概述。鉴于当前的技术格局以及过去两年该领域的扩展,有必要进一步探索CCI中具身交互设计空间内的不同方面和主题。因此,本综述的原因在于汇集了过去十年中跨越各种研究的主题。本文涵盖的主要领域是最常见的应用主题领域和技能、具身的形式和模式,以及研究中儿童和成人的角色。

2.2. 应用主题领域和技能

着眼于所用技术的类型,Falcão和Price(2010)在其关于为学习困难儿童设计实体交互的研究中解释道,在创建教育技术时,重点在于视觉尤其是文本参与。然而,这并不能带来全面的通用学习体验,因为这主要聚焦于脱离身体的信息,而忽略了学习时参与的其他身体部位。儿童通常具有创造性,并且由于他们对世界的推断,他们是具身认知的完美范例。因此,尽管对儿童作为共同设计者的关注日益增加,但根据Hemmert, Hamann, Löwe, Zeipelt和Joost(2010)的说法,针对儿童的共同设计过程几乎没有个性化。这可能是因为人们认为儿童理解此类复杂系统更具挑战性;然而,角色扮演或参与式模拟(Peppler et al., 2010)等协作学习类型可以简化此类交互,并鼓励儿童的多感官刺激。

在设计此类具身场景时,根据所涉及的技能或应用,为健康的竞争和互动创造机会至关重要。一些系统消除竞争(Kourakis & Parés, 2010; Mora-Guiard, Crowell, Pares, & Heaton, 2016),而另一些系统则根据学习目标鼓励竞争(Peppler et al., 2010)。这可能导致更高程度的不可预测性,尤其是在对年幼儿童进行研究时,但这可以带来更具创新性和多样化的结果及设计方法。此类场景的一个例子是Aquaroom的初步研究(Novellis & Moher, 2011),一些活动变得具有竞争性——这与最初设定合作活动的目标相反。然而,这个问题通过使用地图和消除重复结果得到了解决。同样,在BeeSims实验(Peppler et al., 2010)中,儿童最初专注于获胜。这转移了设计目标——即增加对蜜蜂授粉舞蹈和花蜜采集系统的欣赏。

2.3. 研究中儿童和成人的角色

然而,与BeeSims实验(Peppler et al., 2010)不同,大多数与具身认知、共同设计和参与式交互相关的研究主要聚焦于年龄较大的儿童、青少年和成人,尤其如此(Hemmert et al., 2010; Peppler et al., 2010)。这可能是因为此类交互在儿童“游戏时间”中被正常化,儿童为此类交互设定自己的游戏规则;因此,与年幼儿童确定此类界限可能被认为更具挑战性。然而,儿童身上这种自然发生的情况应表明研究方面的可能性以及将具身性融入所有形式的儿童技术中的必要性。扮演不同角色(Börjesson, Barendregt, Eriksson, & Torgersson, 2015)的成人——作为用户、代理人、专家或促进者——可以通过确保不影响儿童在其微型世界中的自然探索来帮助促进这些界限。例如,在BeeSims实验(Peppler et al., 2010)中,扮演促进者/研究人员角色的成人通过改变采集工具以及将采集时间限制为与实际蜜蜂面临的约束相似,来应对设计目标的转变。

3. 方法论

为理解过去11年间CCI研究中具身性的不同形式及其被探索的范围、情境和技术,我们进行了一项系统性文献综述。本综述的范围限于IDC和IJCCI,因为它们是CCI社群最广泛且最常使用的文献库。综述方案包括研究问题、数据提取与筛选、纳入与排除标准,以及数据分析。

该方法论围绕本文的主要目标而设计:审视CCI社群内的当前趋势和主题,并利用所得分析来建议和告知潜在的未来研究领域。本综述旨在基于所审查的文献回答三个主要研究问题:

  1. 有哪些不同的应用主题领域和技能是突出的?

  2. 我们可以推断出哪些具身形式?

  3. 儿童和成人在这些研究中的角色是什么?

本节的其余部分审查了每个过程所使用的方法,并将这些研究问题进一步细分为不同类别。

3.1. 数据提取与筛选

3.1.1. 数据收集与检索查询

聚焦于CCI社群的两个主要发表途径(IDC和IJCCI),我们在美国计算机协会数字图书馆(ACM)和Science Direct在线库中进行了检索,以收集高质量数据。ACM的审查期间为2010年至2020年,我们还包括了IJCCI从该期刊创刊的2013年至2020年12月期间发表的所有文章。所使用的关键检索词如表1所示。单词“embodied”在单独使用时(与其他相关关键词无关)被忽略作为检索词,因为它可能被用于与主题不直接相关的语境中。这也是为了提高所识别论文的质量和相关性。IDC和IJCCI的检索模式有所不同,因为IJCCI主要聚焦于与儿童相关的研究,因此第一组检索词被忽略,仅使用表1中的第二组检索词。这是筛选过程的第一步,在去除重复项后产生了158篇论文。


3.1.2. 排除与纳入标准

本综述过程的下一阶段是去除不相关的论文,以下排除标准被应用于初始筛选出的158篇论文:

• 在设计、数据收集或测试过程中未包含儿童或学生的论文
• 未聚焦于为0至18岁儿童或学生创建的技术的论文。此判定依据《儿童权利公约》(Child age agreement, 1989)所采用的以年龄为基础的"儿童"定义
• 未涉及任何明确具身形式的论文
• 学位论文和硕士/博士论文;这些被视为灰色文献
• 可信度:短篇论文、海报、工作坊提案和立场论文、摘要、进行中研究、专题讨论会、博士论坛、演示、教程、社论以及未经同行评审的论文。这是因为这些格式要么不包含初级研究和设计报告,要么呈现的是不够成熟的工作
• 相关性:仅在关键词和参考文献中提及"embodied"及其衍生词的论文,因为它们未提供足够信息说明研究设计中涉及何种类型的具身性

在纳入方面,我们考虑了有实证证据支持的同行评审论文,包括定量和定性研究。研究设计必须适合解决研究目标,且需有明确的目标陈述、目的、数据收集、分析和发现。

我们还聚焦于那些似乎围绕某种形式的感知运动变化/模拟(感觉输入和运动输出)的论文(Borghi & Pecher, 2011; Johnson-Glenberg et al., 2016),而非仅使用眼睛和耳朵的非感觉输入(Barsalou, 2008)。感觉输入是被身体识别并唤起感知、运动或情感状态或推断的刺激(例如,闻到物体的气味、感受机器人的形状等),而非感觉输入则主要依赖大脑对信息的解释,而非物理感知(例如,从菜单显示屏上阅读选项)(Barsalou, 2008)。这是因为具身认知的理论之一提出,当具身知识通过感知和感觉系统(感知运动活动)进行模拟时,相同的"视觉刺激、运动动作和触觉感受"可以在没有初始动作的情况下被部分或无意识地重演(Barsalou, 2008; Fugate et al., 2019; Johnson-Glenberg et al., 2016)。因此,未显示明确使用感知运动变化的实验(例如,屏幕上无交互性的动画(Johnson-Glenberg et al., 2016))通常依赖大脑通过视觉和声音对内容的解释来添加语境,而非使用身体的感知。

大多数围绕具身认知类别的定义(如隐喻)均基于Lakoff的"解释具身认知结果"(Lakoff, 2012)进行编码和操作化。其他类别则根据作者的专业知识,依据研究的结构方式(如年龄组、研究类型等)来确定。这些研究在正式和非正式环境中进行,并聚焦于硬技能和软技能(如协作)。根据这些标准,43篇论文满足了最终纳入标准。第一作者进行了数据提取和筛选过程;然而第二和第三作者定义了该过程的部分标准。

3.1.3. 数据分析

基于Robson和McCartan(Robson & McCartan, 2016)的定性分析模板方法,我们使用源自研究问题的领域对论文进行了分析。这些类别经过三次迭代完善,并形成了数据分析的模板。

最终模板如下:

  • 研究中所聚焦的主题领域(如数学、音乐、编程、协作)

  • 所涉及的技能和能力(如认知技能、运动和感觉技能——学习沟通、游戏、问题解决等)

  • 所使用的学习/教学方法类型(讲故事、创造力、原型制作等)

  • 所涉及的身体部位(手、眼、耳等)

  • 所使用的刺激/感觉类型(光、声音、气味等)

  • 所观察到的行为(面部表情、反应延迟等)

  • 用于理解认知-情感状态的方法论(直接观察、心理标记等)

  • 物理或环境情境/约束(物理的、空间的、社会的等)

  • 可观察到的抽象隐喻和概念

  • 被卸载到人工制品上的认知过程(记忆、感知、平衡等)

  • 所使用的外部表征形式(符号、图片、运动等)

  • 所基于的技术类型

  • 所使用的实体材料

  • 所使用的数字材料

  • 儿童在这些研究中的角色(社会行动者、设计者、用户等)

  • 儿童参与者的年龄组

  • 所涵盖的认知发展阶段(感知运动、前运算等)

  • 成人在设计过程中的角色(用户、代理人、专家等)

我们还为研究创建了一个通用模板,包括标题、作者、会议、年份、工具、研究类型、数据分析、样本量、地点和持续时间。

作者根据定义的类别选择和提取了不同论文的每个属性。最终结果随后经过讨论以确保一致性。所有43项研究均按照模板进行了详细分析,提取并编码到Excel表格中,以提供论文的结构性概览。这使得作者能够看到不同类别中的模式,并更好地回答初始研究问题。编码详情见附录H1-H3。

3.2. 局限性

虽然本研究聚焦于具身认知,但检索词仅包含明确使用术语"embodied"、其衍生词(如"embodied interaction")以及"embodiment"的论文。可以说,并非所有涉及具身认知的论文都明确使用这些术语,也可能使用相关术语如"Sensory"(感觉的)、"Tangible"(实体的)、"Enactivist"(生成主义的)或"Embedded"(嵌入式的),然而,我们专注于解决与CCI具体相关的具身认知,这导致了所选检索词的使用。此外,我们发现一些相关术语的检索结果可忽略不计(例如,使用检索词"Child"和"Enactivism"及其衍生词在IDC和IJCCI中未返回任何结果)。

检索词的另一个限制是使用"child"和"children"以及该主题所涉及的年龄组。本综述中所考虑的儿童年龄范围为0至18岁,因为超过该年龄可能被视为成年,具体取决于发展的文化背景(Arnett & Taber, 1994)。这可能是一个灰色地带,因为青春期结束的标志并未严格界定;18至24岁之间的年龄可被视为"晚期青春期"或"延长青春期"(Roenneberg et al., 2004; Sawyer, Azzopardi, Wickremarathne, & Patton, 2018)。虽然用于指代参与者的术语可能也有所不同,但将检索范围缩小至IDC和IJCCI,即假设大多数论文会在实验或相关文献中包含"child"或"children"一词。可能有些文献中没有"child"一词,然而,基于所选场所,我们假设这是一个极小数量。

本文涵盖了发表在IDC和IJCCI上的论文,尽管除这些场所外(如TEI、CHI)也可能存在相关工作。范围被限制在这两个CCI研究出版的主要场所,以确保论文数量可控,同时仍允许总结性的发现为未来探索提供一个起点。因此,虽然其他场所——不仅限于计算机科学领域——很可能有高度相关的出版物,但初步文献背景试图简要突出跨这些领域的一些关键发现。这为本社群内的研究人员提供了一个起点,使其可以随后与其他场所进行比较。鉴于本综述旨在提供的初步情境化定位,后续与其他场所比较的文献调查将产生额外的见解。

由于本综述的范围限制,其他领域的文献如认知科学、应用心理学、身心哲学、实验心理学、神经科学等也被排除在外。这为未来研究的扩展和跨学科合作创造了机会,将HCI领域内的研究发现与其社会科学和理论根源交织在一起。

学位论文和硕士/博士论文未被纳入,因为它们并非由本综述所参考的场所出版。可以说,灰色文献在某些情况下有助于减少发表偏倚(Pigott & Polanin, 2020),然而,Ferguson和Brannick(2012)发现,没有太多证据支持未发表工作在减少发表偏倚方面的有效性,且如果样本不完整或不具代表性,它们甚至可能增加偏倚。

虽然可能遗漏少量工作,但一些研究表明,纳入灰色文献(如学位论文和硕士/博士论文)对系统性综述的结果和结论影响可忽略不计或较小(Hartling et al., 2017),且纳入的灰色文献往往可能导致对当前结果的高估。

数据分析中使用的某些部分,如"抽象隐喻",可能未被作者明确陈述,而是基于研究背景进行假设的。这允许了更灵活的分析,同时在解释结果时确保一致性。

4. 研究发现

在本节中,我们分解了对43篇主要报告的分析结果,并用其回答主要研究问题。所有纳入论文的概览见表2。


在分析中,我们基于三个研究问题对综述类别进行了分解:

  1. 有哪些不同的应用主题领域和技能是突出的?

  2. 我们可以推断出哪些具身形式?

  3. 儿童和成人在这些研究中的角色是什么?

突出的不同应用主题领域和技能包括:研究中所聚焦的主题领域、所涉及的技能和能力,以及所使用的学习/教学方法类型。具身形式是最大的类别,进一步细分为所涉及的身体部位、所使用的刺激、所观察到的行为、方法论、环境情境/约束、抽象隐喻、被卸载的认知过程,以及所使用的外部表征形式。最后一个类别是儿童和成人在研究中的参与情况,包括他们的角色、年龄组、认知发展阶段,以及成人在研究中的角色。

在检索到的论文中,被纳入最终报告筛选后论文的百分比为28.1%(158篇中的43篇)。我们可以看到,从2012年到2018年论文比例有所下降,尽管2016年在那个年份范围内纳入的论文较多。从2019年到2020年,论文数量有所增加,占总数的34.88%。就发表场所而言,20.93%(9篇)来自IJCCI,79.07%(34篇)来自IDC(见图1)。


4.1. 研究概览

不同作者的论文种类繁多;然而,有三位作者拥有最多的署名论文。Narcís Parés有七篇合著论文(Kourakis & Parés, 2010; Malinverni & Burgués, 2015; Malinverni et al., 2012, 2018; Mora-Guiard et al., 2016, 2017; Mora-Guiard & Pares, 2014),其次是Laura Malinverni,有四篇主要署名论文(Malinverni & Burgués, 2015; Malinverni et al., 2020, 2012, 2018),以及Joan Mora-Guiard,有三篇主要署名论文(Mora-Guiard et al., 2016, 2017; Mora-Guiard & Pares, 2014)。

"研究类型"指所使用的方法是定性、定量还是混合的。基于此分类,大多数论文是定性的。在43篇中,44.19%(19篇)为定性研究,30.23%(13篇)为定量研究,25.58%(11篇)使用了混合方法。我们还区分了实验是在组内(19项)、组间(1项)、个体(1项)进行,还是使用前测(1项)和后测(5项)。我们还看到了不同实验设计的组合,如前测和后测(5项)、个体和组内(9项),以及一项研究结合了个体、组内和后测。然而,没有组内和组间的组合。所有涉及后测的研究都使用了控制条件,其中一项研究使用了所罗门四组设计。

平均样本量在10至50之间。有5项(11.63%)研究参与者少于10人,18项(41.86%)研究有10至30名参与者,5项(11.63%)有30至50名参与者。在参与者超过50人的研究中,4项少于100人,1项有108人,2项超过300人,其中一项在大型展会上进行(超过350人)。在这些参与者中,有一系列技能和能力,43项研究中有5项(11.63%)涉及有特殊教育需求(SEN)的儿童,共有87名儿童参与者。然而,虽然并非所有研究都提及性别百分比,但13项研究的男性参与者多于女性参与者,3项性别平衡,11项女性参与者较多(见图2)。


这些实验最突出的地点是教室(18项),其次是实验室(10项),有些在两者中都进行,有些在博物馆(3项),少数实验在这两个场所之外进行,如家中(1项)、游戏中心(1项)、公园/野外(4项)和展会(1项)。其中一项研究没有特定地点,但允许学生将技术带入其日常环境中。大多数实验在一天内(20项)到一周内(5项)完成。然而,有些持续更长时间,从长达三周(4项)到六个月(8项),只有少数研究(2项)超过六个月(一项为期两年,另一项为期两个学期)。

大多数研究报告使用了数字人工制品,如平板电脑(8项)、台式电脑(3项)、笔记本电脑(3项)、相机(5项)、RFID标签(3项)、投影仪(8项)和某种形式的传感器技术(6项)。有些(33项)根据研究设计使用了不同的实体材料,而有些则没有。虽然在个别研究中技术种类繁多,但使用最多的是Arduino(6项)、制作/工具包(4项)、Kinect(3项)和UCube(2项)。我们还有机器人智能体(5项),如PhyPleo、Jibo、mBot、Cellulo Robot和Clementoni的Doc机器人。

本节的其余部分将每个研究问题作为标题,并根据调查结果进行阐述。

4.2. 研究问题1:有哪些不同的应用主题领域和技能是突出的?

所涉及的主题领域很重要,因为它们决定了哪些具身形式可以被探索以及如何探索。我们将这些领域分为更具体的学科(如数学和科学)和更多的社会/认知技能(如问题解决)。此外还有"学习沟通",它指的是一个具体概念而非整个学科领域。学习沟通(15项)是最大的单一关注领域,涉及蜜蜂、群体狩猎策略、可持续性、浮力和纳米尺度等主题。问题解决(13项)是第二大关注领域,其次是数学(7项)、科学(6项)、编程(5项)和设计(5项)。

认知技能的探索如学习沟通(15项)、语言发展(3项)、行为-认知技能(3项)、协作(2项)、语言能力(1项),超过了学业技能如计算思维(1项)、问题解决(13项)、抽象思维(1项),以及运动-感觉技能如游戏(6项)、社交互动(3项)和几何/书写(1项)。对软技能(31项)的关注也高于更具体的技能(24项)。我们有一项关于具体技能的研究聚焦于STEM之外的艺术相关研究(23项),即音乐。审查论文后我们发现,虽然有学习方法组合且有些兼具主题领域的性质,但超过一半的论文以游戏为特色(29项),其中6项为开放式(6项),以及协作(24项),其中两篇文章明确指出了"鼓励协作"(2项)。其他流行方法包括游戏化(16项)、创造力(15项)、学习(12项)、角色扮演(8项)、基于问题的原型制作/制作(4项)和设计(4项)。我们还看到了一些单一出现的方法,如情境学习和通过教学学习。

4.3. 研究问题2:我们可以推断出哪些具身形式?

这涉及研究所基于的具身行为形式以及所涉及的身体部位。所涉及的身体部位根据五种感觉和具身刺激进行分类。虽然大多数研究涉及某种程度的视觉感知,但在那些不以纯粹具身方式使用视觉线索、而仅依赖大脑以自上而下方式处理视觉信息的研究中,这一点被忽略。不同身体部位被研究涉及的频率从高到低依次为:手(24项)、眼(18项)、耳(6项)、手指(1项)、头(1项)、腿(1项)和脸(1项)。虽然大多数研究组合了多个身体部位,我们有涉及全身交互的研究(21项),包括非接触式交互(1项)。然而,没有研究集中于与鼻子/舌头或有意使用嗅觉和味觉刺激的交互。虽然刺激在研究中的分布似乎相当均匀,但视觉刺激的使用(27项)仍然最为突出,细分为图像(4项)、光(7项)和颜色(2项)等具体类型。其他使用的刺激包括触觉(18项)、运动(23项)、手势(15项)、听觉(13项),以及一项涉及所有类型刺激的研究(见图3)。


由于实验中可观察行为的上下文依赖性,它们完全取决于研究者和研究类型,但频繁关注的行为包括:概念理解(8项)、参与度(5项)、任务完成(3项)和游戏动机(2项)。在报告这些行为时,使用了多种方法论,如直接观察(29项)、间接观察(11项)、人工制品(8项)、自我报告(18项)、半结构化访谈(15项)、测试或问卷(19项)、绿野仙踪法(3项)和焦点小组(2项)(见图4)。


一些抽象隐喻和概念并非总在研究论文中明确陈述,但可以从实验设计中推断。例如,向前走表示进展,或使用高度表示距离。例如,它们也可能嵌入在概念中,如通过扮演蜜蜂来表现花蜜采集,或角色扮演为猎人或城镇成员。一些隐喻和概念在不同研究中多次出现,如平衡(4项)、积木(5项)和建模(4项),可能是由于这些隐喻的简单性。这些及其他抽象隐喻和外部表征出现在2D(9项)、3D(20项)和物理(24项)约束中,并用于帮助卸载儿童对人工制品的部分认知。卸载特定主题的感知(38项)和概念加工(32项)是通过身体被卸载/具身化的最主要认知过程。除此之外,我们还观察到其他认知过程如记忆(3项)、语言加工(4项)、计算(4项)、平衡(5项)和问题解决(3项)被卸载到人工制品上。

4.4. 研究问题3:儿童和成人在这些研究中的角色是什么?

分析的这个部分分解了43篇主要报告中儿童和成人的角色。基于我们的研究,我们确定了儿童在研究中的五种主要角色和成人可以扮演的四种角色,特别是与CCI研究相关的角色。审查论文中儿童的角色,在43项研究中,将儿童描绘为社会行动者(5项)、设计者(13项)、用户(28项)、测试者(23项)和告密者/信息提供者(4项)。由此,我们看到了更多探索儿童作为社会行动者和信息提供者参与的研究空白。然而,成人的角色略有不同;促进者(40项)是最常见的角色,其次是专家(22项)、代理人(13项),在一项研究中教师也是用户(1项)。

由于具身认知在不同认知发展阶段有所不同(见表3和图5),我们查看了研究中指定的年龄,并根据皮亚杰阶段进行了相应分类。虽非严格固定,但这允许更连贯的分析。大多数研究的平均年龄为7-11岁,即具体运算发展阶段(35项)。这通常与形式运算阶段(21项)或前运算阶段(12项)的儿童组合。虽然形式运算阶段的一般年龄范围出现频率较高,但大多数研究与其他群体组合,且通常在12至14岁范围内。只有两项研究聚焦于形式运算阶段;一项聚焦于12至14岁,另一项聚焦于14至17岁。感知运动阶段未涉及任何研究,可能是由于伦理问题。一些研究(22项)结合了两个或更多发展阶段,而有些仅聚焦于一个阶段(19项),另有一些具有动态发展轨迹(2项)。


5. 讨论

在对最初的153篇论文进行综述之后,我们可以看到具身认知在CCI社群中仍然是一个相对较新的主题,然而,在过去几年中对其的探索有所增加,研究贡献的高峰出现在2020年,如表2所示。本综述聚焦于近年来"具身"研究概念的趋势,以及最常见的应用主题领域和技能、具身的形式与模式、技术,以及研究中儿童和成人的角色。我们的纳入和排除标准有助于根据我们的初始研究问题筛选出最相关的论文。最终,通过不同类别和应用(包括教育性和非教育性),选取了43篇同行评审报告。本节进一步讨论所综述论文中更多的定性观察和趋势。

由于具身认知的性质以及儿童在研究中的参与,伦理是研究人员需要考虑的一个高度相关的问题。正如综述所显示的,伦理问题贯穿于诸如个性化、特殊需求、多样性、包容性以及儿童年龄和发展阶段等主题。研究人员需要在其研究的各个方面考虑到伦理问题,例如,在构思田野调查、设计原型或撰写方案时。伦理问题常常影响具体实验如何进行、是否进行以及涉及哪些年龄组,这可能就是为什么某些趋势比其他趋势更为普遍的原因,例如涉及具体运算阶段而非感知运动阶段的研究。

基于分析,我们呈现了从综述中浮现的该领域的主要趋势:

5.1. 对所涉及身体部位的神经学证据的探索

我们理解在进行任何形式的研究时实证证据的地位:当涉及到证明具身性时,这可以是神经科学的(例如,相关的运动区域(Boulenger, Hauk, & Pulvermüller, 2009; Hauk, Johnsrude, & Pulvermüller, 2004; Lindgren, Morphew, Kang, & Junokas, 2019))或行为学的(例如,概念理解(Borghi & Pecher, 2011; Fugate et al., 2019))。与更偏向心理学和认知科学的领域相比,本文所综述的研究中,没有一项使用神经学证据来支持其主张。虽然查看行为证据是有效的且能指向具身性,但它可能受到关于交互中涉及哪些身体部位及涉及程度的假设和偏见的影响。在某些情况下,可能需要神经影像来真正确定实验期间哪些相应的大脑区域被特别激活(例如,视觉、嗅觉、运动、味觉等)(Barsalou, 2008; Martin, 2007)。还存在忽略某些形式的运动和感觉具身性的可能,这些形式通过行为观察并不明显(例如,习语理解(Boulenger et al., 2009))。我们不认为行为证据可以忽略,但它仍然可能是主观的,并且可能导致我们忽视某些感觉运动信息而偏向其他信息,因为我们无法直接观察行为。对更多神经学证据的探索可以为与其他领域的合作开辟更多机会。

由于具身性与制作之间存在交集,涉及创客技术和活动的研究被纳入。然而,对于某些创客技术在多大程度上是具身的仍存在疑问,因为并非所有创客平台都使用感知运动参与(例如,使用实体人工制品)。有些主要使用简单的屏幕模拟,这可能被认为并非主要是一种具身方法。Godhe也解释说,“创客”一词已被误用于众多学习场景和活动(Godhe, Lilja, & Selwyn, 2019)。鉴于一些研究仅依赖行为证据,所纳入的制作研究(Kawas et al., 2019; Leduc-Mills & Eisenberg, 2011; Leduc-Mills et al., 2012)是那些明确显示出某种形式身体参与、交互或物理具身性的研究。

5.2. 认知-情感状态的测量

结果表明,虽然提到“认知-情感状态”的测量方法作为类别之一,但只有一项研究明确涉及儿童的认知-情感状态,使用了实时心理标记(Lee-Cultura et al., 2020)。虽然似乎难以明确确定许多研究是在增强已有知识还是在帮助儿童形成新知识,但一些研究确实涉及了这一点。Antle等人在其“Towards Utopia”研究中将这种“无法确定”作为其研究的局限性提及(Antle et al., 2011)。这对研究的直接长期效果提出了质疑,但并不否定不同研究的有效性——而是需要对此类情境、局限性和未来探索长期效果的建议进行说明。在Segura等人的分析中,研究目标是基于儿童首次接触移民这一假设(Segura et al., 2012)。这导致了该研究旨在帮助形成新知识的推定。他们解释说,如果儿童在未来研究中更加熟悉这一概念,则有可能表现出对该概念更深的理解。相比之下,Malinverni等人(2012)的方法更为明确,在研究前联系学校以确保儿童对(例如)“浮力”概念没有先验知识,从而将他们的研究聚焦于并强化为新技能发展的研究。此外,Mora等人的处理方式略有不同且更偏实证,使用前测和后测来确定儿童在研究前后的知识水平。

5.3. 具身学习与非具身学习方法

虽然普遍认为具身知识比非具身知识提供更丰富的体验,但只有少数研究(Hemmert et al., 2010; Malinverni et al., 2012; Mora-Guiard & Pares, 2014; Segura et al., 2012)对具身与非具身学习的学习结果进行了实证比较。更大焦点放在具身技术的结果上;然而,这并未产生其相对于非具身方法有效性的情境证据。在对学习结果进行定量评估的研究中(Malinverni et al., 2012; Mora-Guiard & Pares, 2014),大多数在两种方法之间未显示统计学显著差异。尽管如此,这引发了进一步的研究问题。可以说,虽然学习结果在统计学上没有差异,但儿童的自我报告和对学习过程的观察显示出更多的参与度和兴奋感。其他一些研究中,儿童甚至要求延长实验时间以便他们能更多地“玩”(Sylla et al., 2015)。

缺乏统计学差异也可能是由于所使用的指标和这些实验的时间范围所致。这些研究比较了具身技术的短期效果(最长的研究为三周(Malinverni et al., 2012))。然而,它们并未倾向于考虑具身技术相对于非具身技术的长期累积影响。在其中一项研究“你想和谁说话?”(Spitale et al., 2020)中,比较了儿童在创作过程中对不同具身水平同伴的看法,作者发现这对儿童的创作成果没有影响;然而,更具身化的智能体的使用使创作过程更具吸引力。在进行这些比较实验时需要注意的一点是确保具身和非具身智能体具有相似且可比的可供性,尽管在一些实验中如Pleo(PhyPleo和ViPleo)(Segura et al., 2012),这些可供性的呈现方式可能有所不同。Roberts等人(2014)采取了不同的路径,比较了两种不同的具身交互设计方法。依赖自我报告的研究可能存在儿童对特定类型技术或具身形式——尤其是机器人——有更高期望,因而评价较低的偏差(Lechelt et al., 2020)。其中一项看到儿童具身技术差异的研究(Almjally et al., 2020)关注的是儿童自身具身模式的差异而非技术的差异。他们发现,在反思过程中被视为“高手势者”的儿童相比“低手势者”对抽象概念有更高的理解。Almjally等人建议进一步研究不同手势如何随时间影响学习收益。虽然这项研究也比较了具身实体用户界面(TUI)与图形用户界面(GUI),并未发现手势(被解释为学习收益)之间的显著差异,但可以假设高手势者具有更高的长期具身学习效果。也许这为探索长期具身教学如何影响被视为低手势者的儿童开辟了机会。

5.4. 具身机器人玩具伙伴与社交智能体

一个尚未充分探索的领域是具身机器人玩具、伙伴和社交智能体。Segura等人(2012)进行的一项研究比较了从机器人Pleo的物理具身形态到使用平板电脑的虚拟表征的迁移或“传送”。除此之外,另一个具有研究潜力的领域是全身交互技术,该技术将身体作为“参照物”(Mora-Guiard & Pares, 2014),聚焦于身体作为驱动学习体验的主要元素。在一些全身交互中,如CoCensus(Roberts et al., 2014),参与者相对于数据系统的位置影响了他们查看数据的方式,无论是第一人称(主动)还是第三人称(旁观者)。

5.5. 将游戏技能作为一种具身形式的参与

研究发现,使用游戏作为一种学习方法能够使玩家(儿童)积极参与、激发动机并产生沉浸感(Malinverni et al., 2012)。参与式游戏,尤其是那些涉及角色扮演的游戏,能带来个人投入感,这使得活动对儿童更具意义(Antle et al., 2011; Novellis & Moher, 2011; Roberts et al., 2014)。角色扮演游戏还可以根据情境引发相互依赖和协作感(例如,作为城镇成员(Novellis & Moher, 2011)、作为猎人(Kourakis & Parés, 2010)或警察与强盗(Soute et al., 2013))。研究已建立直接关系,表明身体运动的增加会导致参与度的增加,进一步为全身技术提供了依据。协作在参与度中也起着重要作用,正如Sylla等人(2015)在其讲故事实验中所展示的,他们发现分组玩耍的儿童平均交互时间更长——19.24分钟,而对照组为10.3分钟。

5.6. 物理/环境情境

在分析过程中,我们发现大多数研究在实验室环境或教室中进行,只有少数研究如Roberts等人(2014)、Sylla等人(2015)将家长纳入了设计研究。Mora-Guiard和Pares(2014)在实验室和教室均进行了实验,以比较受控环境和较少受控环境。参与式设计不仅限于学生;教师也参与需求收集,无论是以非正式还是正式的方式。在Kang等人的研究中(Kang et al., 2016),与20名教师进行了一次2.5小时的形成性预设计会议,使用模型和草图材料测试概念和原型。这有助于更好地发现当前设计中可能的改进空间,因为教师对该领域和儿童有更好的理解。

在某些情况下,教师会充当代理人,因为他们与儿童有更好的关系。Pires等人在需求收集阶段和研究分析阶段都让教育者参与其中(Pires et al., 2020)。一些研究涉及非正式环境,学习者与其环境中自然存在的物体进行交互,而另一些则在更正式的环境中进行,但仍涉及与环境中物体的直接游戏(Kawas et al., 2019)。只有一项研究(Chu et al., 2019)允许儿童将技术单独带入其日常情境中,依赖儿童在课堂之外环境中的自然交互和具身性。Chu等人还给学生佩戴智能手表,允许他们记录导致某些科学反思的物体和地点。这不仅让儿童注意到他们收集的知识如何在日常情境(包括想象和真实)中具身化,还给他们提供了一种将智能手表作为教育工具的有趣方式。

5.7. 抽象隐喻/概念与游戏技术

一些Kinem游戏如Farm Walks(Kourakli et al., 2017)允许研究人员通过移除或添加某些功能(如障碍物和停止标志)来改变游戏难度,一些研究使用多种游戏或概念进行了多次实验。Chu等人(2018)将其制作实验分解为模拟地震和太阳能的仿真模型、要求学生根据两年知识编程食物链的概念过程模型,以及使用LED灯展示其概念理解的说明性模型。存在新概念与已有知识的结合,如音乐和导电性(Petersen et al., 2015)、足球和编程(Desai et al., 2019),以及情感和机器学习(Vartiainen et al., 2020)。只有一项研究(Vartiainen et al., 2020)围绕情感展开;然而,它聚焦于儿童通过身体和面部表情向AI教授不同情感。没有研究探索身体状态如何影响儿童的情感,特别是当与技术相关时。

5.8. 儿童的角色、年龄和发展阶段

根据儿童的认知发展阶段,某些概念更容易引入。在所综述的研究中,只有少数考虑了不同年龄组之间的差异。Kang等人(2016)根据儿童年龄将他们的会议分为不同组别,虽然实验未因年龄而异,但传达语言有所不同。Antle等人(2011)的研究聚焦于7至10岁(具体运算阶段)的儿童。这受到了环境心理学家McKenzie-Mohr研究的影响,他认为这个年龄是帮助儿童建立“生态可持续行为”的最佳时机(McKenzie-Mohr, 2011)。Xiao等人(2016)也聚焦于7至13岁的儿童,因为根据皮亚杰的观察,幼儿至12岁儿童尚未完全发展其抽象符号思维。然而,该年龄段后期在抽象符号理解方面有更高的阶段性增长,而较低年龄的儿童更多依赖感觉运动思维。然而,其他研究未显示其选择年龄组的理由。

我们预期在感知运动阶段会有更多干预,但据我们所知,目前没有研究涉及该年龄组。这可能是因为,例如,在比较结果时难以找到能力一致且稳定的儿童样本。我们还预期有更多涉及形式运算阶段中青少年中期(15至17岁)参与者的实验,然而只找到一项研究,其他研究集中在12至14岁(青少年早期)的参与者。

5.9. 具身学习研究中的关注学科

在探索主题方面,我们预期在艺术和人文学科中有更多主题,但研究高度集中在STEM相关的学习概念上。大多数领域涉及生物学,如SharedPhys(Kang et al., 2016)、数学(Beşevli et al., 2019; Kourakli et al., 2017; Kynigos et al., 2010; Leduc-Mills & Eisenberg, 2011)或编程(Almjally et al., 2020; Pires et al., 2020; Vartiainen et al., 2020),很少有研究探索独立于STEM知识的艺术,如音乐——Andantino(Xiao et al., 2016)是一个很好的例子。我们发现其他涉及设计和艺术的研究仅将其作为更STEM相关目标的教学方法,而非作为参与的唯二目的。例如,Leduc-Mills等人在其2012年的研究中,利用设计作为帮助儿童学习数学和几何形状的手段,Petersen等人(2015)以乐器为切入点帮助儿童概念化无形的导电性。虽然鼓励不同学科的互动以帮助借用隐喻,但对STEM学科(尤其是编程)的关注可能是因为它们天然地属于我们作为研究者的领域。这忽略了儿童可能拥有的其他兴趣以及具身技术如何帮助他们更好地学习。

5.10. 个性化、特殊需求、多样性与包容性

个性化不仅限于年龄和认知发展阶段,还包括能力。当涉及大规模用户时,它可能使体验更好或使体验复杂化。当涉及有神经多样性需求的儿童时,这可能是一个特别复杂的主题(Bartoli et al., 2013; Kourakli et al., 2017; Mora-Guiard et al., 2017; Wilson et al., 2018)。某些或所有类型的刺激可能难以处理:在这种情况下,具有“聚焦、可预测和可复制”刺激的具身全身非接触式技术可能具有很大优势(Bartoli et al., 2013)。然而,大多数研究通常只关注特定能力,而非进行包容性设计并适应不同能力。一个执行得很好的研究是Neto等人的论文《使用桌面机器人促进包容性课堂体验》(Neto et al., 2020),该研究在实验设计中同时纳入了有和无视觉障碍的学生。在考虑不同知识水平、认知发展、种族、性别和技能的研究方面似乎仍然存在空白。关于性别,参与者主要为男孩,虽然涉及自闭症等特殊需求的研究有其理由,因为自闭症谱系中男女比例约为5:1(Mora-Guiard et al., 2017),但其他研究并非如此。也缺乏考察二元性别定义之外的研究。我们研究的一个令人惊讶的结果是,预期会有更多解决和解释性别偏见、差异和差距的研究,尤其是在更多STEM相关学科中;然而,我们综述的研究中没有一项聚焦于性别问题。除了性别,我们也没有发现任何研究涉及种族上感知具身交互的差异,因为大多数研究似乎涉及来自种族“多数群体”的儿童。

6. 未来研究方向

在批判性地审视综述结果后,我们认为本社群必须致力于对基本哲学概念进行更彻底的讨论,然后才能建立与技术具身性的联系。据此,我们提出本社群可以利用的八个关键探索领域。

  1. 在自然情境中使用技术:大多数技术仅在特定情境中可用,如实验室(Abrahamson & Trninic, 2011; Hemmert et al., 2010; Leduc-Mills et al., 2012; Peppler et al., 2010)、学校(Keifert et al., 2017; Kourakli et al., 2017; Lee-Cultura et al., 2020; Neto et al., 2020; Novellis & Moher, 2011; Pires et al., 2020; Sylla et al., 2015)或博物馆(Antle et al., 2011; Mora-Guiard & Pares, 2014; Roberts et al., 2014)。进行更多关于这些系统如何在公共和自然情境(Chu et al., 2019)中运作的研究将是有趣的,例如儿童家中(Roberts et al., 2014; Vartiainen et al., 2020)或公园(Kawas et al., 2019)。这也将使我们能够将具身技术嵌入儿童的日常交互中,将我们的研究向其他形式的技术开放,如物联网(IoT),同时反思在此类情境中收集数据的最合适方法。

  2. 纵向研究:大多数研究(Almjally et al., 2020; Beşevli et al., 2019; Lechelt et al., 2020; Lee-Cultura et al., 2020; Neto et al., 2020; Pires et al., 2020)在较短时期内(少于一个月)进行。需要考虑将实验延长至更长时间段(超过六个月)(Chu et al., 2018; Wilson et al., 2018),并考虑静态输出之外的其他指标,如注意力持续时间的维持和长期学习保持率。短期研究使我们能够更快地检验假设,然而,这些可以在更长的研究阶段中得到进一步验证。更长的实验周期将有助于考量随时间累积的输出,并更好地理解初始实验结果的影响(Fernaeus et al., 2010)。更长时间的参与还可以减少儿童首次使用新技术时的创新效应。然而,尽管有明显的好处,纵向研究并非总是可行的,且若干情境不允许这样做。

  3. 使用多轨迹的个性化:需要更多考虑多重和动态的认知发展轨迹及具身性,允许儿童学习者自行调节其学习。这包括对不同学习路径(Antle, 2013)、难度水平(Neto et al., 2020)和知识水平的深入调查,并将其抽象化以增强包容性具身交互。个性化不仅应在为有特殊教育需求的儿童设计时加以考虑(Neto et al., 2020)。还需要基于不同发展阶段进行更多个性化,特别是在感知运动阶段以及早期青春期之外年龄的更多实验。由于儿童定义的灰色地带,特别是涉及到15岁以上的年龄时,很容易将其归类为成人。然而,年龄较大的青少年在发展/心理社会特征、行为以及与技术的关联方面与完全发育的成年人有所不同,这需要进一步研究(Roenneberg et al., 2004; Rowling, 2006; Sawyer et al., 2018)。了解这些群体在当下文化细微差别和变迁中的个人技术和心理需求如何被具身化,将有助于更好的设计。

  4. 跨领域研究与主题:在Spitale等人(2020)的研究中,研究人员与语言学家合作设计和进行实验。Wilson等人(2018)在其研究中与言语治疗师合作;这有助于更好地理解儿童的需求以及其他细微差别和心理线索。增加与作为代理人和专家的研究人员(例如在心理学、神经学和哲学领域)的跨学科合作,可以提高输出的稳健性。这也可以鼓励从不同或不太熟悉的视角审视这一现象。例如,使用神经影像和心理标记可以提供进一步证据来确定真实的具身性。此外,似乎主要聚焦于STEM相关研究,而具身设计有潜力通过与这些领域(如艺术、历史、语言文化研究、写作等)的研究人员合作来影响和应用到其他学习领域,参见Kiefer等人(2015)、Krois等人(2007)、Xiao等人(2016)。

5. 使用具身记忆:一个未受到太多关注的潜在领域是探索更多具身设计和实验,这些设计和实验鼓励对日常交互的反思,以及通过卸载认知将日常普通物体用作记忆宫殿(Wilson, 2002)。我们发现唯一使用这一方法的是Chu等人(2019)的研究,该研究允许儿童在日常情境中测试其具身技术。可以就空间位置和隐喻如何影响记忆进行更多研究,同时还需要探索如何利用整个身体来存储和检索信息(例如,嗅觉刺激作为记忆触发器,使用身体运动来编码记忆如手语(Wilson, 2001),以及口语模式(Bloom, 2000; Carey & Bartlett, 1978))。

6. 运动、感知与行动:我们所考察的大多数工作都围绕具身性展开,包括CCI社群之外的研究,且似乎主要聚焦于学习作为结果。在更广泛的HCI社群之外探索的具身认知的主要主题之一是感知与行动的直接影响和“不可分割性”(Gibbs, 2006)。应对情感(Xiao et al., 2016)、身体运动(Keifert et al., 2017)和心理感知进行更多研究。据我们所知,只有少数几项工作涉及这些主题,且这些工作聚焦于特定身体部位。

在考虑体现抽象隐喻的运动时,我们发现使用全身运动来引发抽象隐喻的研究仅为简短的实验性论文,因此未被纳入详细综述(Adachi et al., 2013; Tscholl, Lindgren, & Johnson, 2013)。大多数研究涉及儿童将某种形式的物理感知卸载或外包给物体,然而,只有一项研究(Segura et al., 2012)被发现明确探索了机器人的不同具身形式(虚拟和物理)如何影响儿童对其的感知和行为。仍然有空间探索具身智能体的特定物理特征(如颜色(Thompson, Palacios, & Varela, 1992)、大小感知等)如何在不同情境(自然和受控)中为儿童体现不同的隐喻和行动。因此,需要进行更多实证研究,以理解身体状态和物理属性如何偏见或影响情感和心理视角/行动,反之亦然。

7. 多样性、包容性与认知偏见:继心理感知和个性化的观点之后,虽然这些想法已在成人中探索过,但我们发现的研究中没有一项涉及性别和种族如何影响儿童感知具身信息。例如,一些抽象隐喻如颜色(Borade, Bansod, & Gandhewar, 2008; Madden, Hewett, & Roth, 2000)可能因文化背景而具有不同含义,并且可能与种族相关的特定物理属性存在偏见(Groom, Bailenson, & Nass, 2009),以及性别刻画(Kaspar, Jurisch, & Schneider, 2016; Wong, Castro-Alonso, Ayres, & Paas, 2015)。此外,需要探索具身交互在不同性别之间(包括二元性别之外)可能存在的差异。这些观点指出了研究空白,即需要更多研究来探索如何利用具身技术教育儿童关于偏见的知识,以及如何为更好的具身交互设计提供信息。

8. 多感官具身认知:如综述分析中所述,没有研究涉及嗅觉和味觉作为具身性的主要刺激。这可能是由于这些刺激的情境性及其受个体感知影响的方式,增加了其变异性。另一个限制可能是缺乏围绕这些刺激类型的资源和专业知识。然而,如果我们围绕感知状态进行更多研究,与其他领域的研究人员合作(Spitale et al., 2020),并进行更长期的研究(Chu et al., 2018; Wilson et al., 2018),这可能为此类实验提供一种变通方案。

虽然本系统性文献综述重点聚焦于儿童-计算机交互出版物的两个主要场所,但这并非对具身认知及其相关技术领域的全面综述:在这些场所之外将存在其他值得关注的工作。尽管背景部分给出了目前在IDC/IJCCI中未被充分代表的具身认知文献的广泛范围,但进一步的工作将涉及将本综述扩展到两个主要CCI场所之外,并调查可能存在的差异和相似之处。总体而言,我们建议解决探索不足的研究领域,如嗅觉和味觉等刺激、艺术相关学科(Xiao et al., 2016)以及动态认知发展阶段(Kourakis & Parés, 2010; Petersen et al., 2015)。这可能是与其他领域合作的机会,尤其是负责哲学概念的本源领域。

7. 结论

本工作综述了从过去11年间大量具身认知论文检索中选出的43篇同行评审文章。本文旨在对CCI社群中具身认知的不同层面和概念进行深入分析——因此聚焦于两个主要场所IDC和IJCCI——并以此为基础为未来研究提出建议。

主要报告根据回答研究问题的类别进行了分析,并更好地展示了近年来具身研究的方向。我们的研究涉及应用领域和技能、具身的形式与模式、所使用的技术,以及儿童和成人的角色,聚焦于优势及未来研究的机会。鉴于过去一年中儿童进行远程交互和学习的近期事件,具身认知和交互的作用比以往任何时候都更为重要。

讨论的总结是八个关键领域,指出了儿童-计算机交互中具身认知领域的未来研究方向,通过阐明旨在研究该领域的研究人员所面临的新挑战和机遇,为本社群提供指导。我们的工作表明,使用神经学证据、记忆宫殿的研究相对缺乏,感知运动阶段和前运算阶段儿童的研究探索不足,以及需要更深入理解和应用具身隐喻和认知-情感状态。

未来的工作将是对具身认知及其他相关概念如生成主义、情境认知、情境感知计算的比较性探索,不仅在CCI社群内,而且在其他场所和文献库中。我们的目标是在不久的将来为一个新的具身认知与儿童-计算机交互领域奠定概念性、理论性和方法论基础。

原文链接:https://www.sciencedirect.com/science/article/pii/S2212868922000174

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
最新:乌克兰摧毁俄罗斯苏34和苏35两架战机!

最新:乌克兰摧毁俄罗斯苏34和苏35两架战机!

项鹏飞
2026-10-05 19:59:58
网友称四川广元一酒店“平时168元国庆涨到1284元”,店方表示系平台问题,市监部门已介入调查

网友称四川广元一酒店“平时168元国庆涨到1284元”,店方表示系平台问题,市监部门已介入调查

台州交通广播
2026-10-04 17:22:07
旅行中最狠的真相:都是吃过亏才换来的智慧,今天“拎出来”聊聊

旅行中最狠的真相:都是吃过亏才换来的智慧,今天“拎出来”聊聊

另子维爱读史
2026-09-25 20:19:47
一个奇怪现象 : 为何网上失业哀鸿遍野 , 现实中大家都按部就班的工作

一个奇怪现象 : 为何网上失业哀鸿遍野 , 现实中大家都按部就班的工作

青史卷中人
2026-10-03 02:55:17
台湾这次真慌了!水炮打完大陆渔船,岛内民众急喊:赶紧认错,别再惹事了,两岸是一家人不能自己人打自己人!

台湾这次真慌了!水炮打完大陆渔船,岛内民众急喊:赶紧认错,别再惹事了,两岸是一家人不能自己人打自己人!

林杰论事
2026-10-04 22:44:40
阿曼籍副机长认罪,哈马斯领导人又没了?

阿曼籍副机长认罪,哈马斯领导人又没了?

海子侃生活
2026-10-04 10:10:23
演员何麦去世

演员何麦去世

上观新闻
2026-10-05 20:23:19
祖宗都投胎了,我们纸钱烧给谁?中国人的死后世界的千年BUG

祖宗都投胎了,我们纸钱烧给谁?中国人的死后世界的千年BUG

轩逸阿II
2026-10-03 09:57:23
老公被洗脑了?27万的奥迪Q5L不买,要买24.98万的汉兰达双擎

老公被洗脑了?27万的奥迪Q5L不买,要买24.98万的汉兰达双擎

侃故事的阿庆
2026-10-04 09:18:38
就在刚刚,WTT中国大满贯:奥运亚军遭淘汰!0-3止步首轮,早田希娜3-1胜出

就在刚刚,WTT中国大满贯:奥运亚军遭淘汰!0-3止步首轮,早田希娜3-1胜出

锐评利物浦
2026-10-04 19:16:17
友尽!广东U18男篮209-48狂胜甘肃 夏振峰33分引11人上双狂赢161分

友尽!广东U18男篮209-48狂胜甘肃 夏振峰33分引11人上双狂赢161分

醉卧浮生
2026-10-05 16:16:07
此案例完美解释了国企亏损的原因,令人震惊…

此案例完美解释了国企亏损的原因,令人震惊…

慧翔百科
2026-09-30 08:28:46
领先卢拉200万票+,巴西大选进入第二轮,民调扑街

领先卢拉200万票+,巴西大选进入第二轮,民调扑街

移光幻影
2026-10-05 18:01:49
男子土豆当主食,半年瘦25斤!营养专家:土豆是被严重低估的食材

男子土豆当主食,半年瘦25斤!营养专家:土豆是被严重低估的食材

药师方健
2026-10-02 22:19:37
快讯!基辅传来坏消息!

快讯!基辅传来坏消息!

故事终将光明磊落
2026-10-05 09:52:37
婆婆的醋泡洋葱太绝了!便秘堵了好几天,吃两次就通了

婆婆的醋泡洋葱太绝了!便秘堵了好几天,吃两次就通了

华庭讲美食
2026-10-04 16:46:36
“托下巴的,一看就有钱!”女生宿舍6人照走红,气质天差地别!

“托下巴的,一看就有钱!”女生宿舍6人照走红,气质天差地别!

番外行
2026-10-01 21:39:14
后续!空姐下跪闹事当事人身份终于浮出水面!涉事人员欧某某被官方点名,这下要为自己的嚣张行为付出代价了

后续!空姐下跪闹事当事人身份终于浮出水面!涉事人员欧某某被官方点名,这下要为自己的嚣张行为付出代价了

静若梨花
2026-10-04 15:50:33
390万薪水对1500万代言:詹姆斯这份合同差在哪

390万薪水对1500万代言:詹姆斯这份合同差在哪

星河漫山野
2026-10-05 20:36:15
无语!德约中网逆转后给球迷签名 现场争吵不断 他拒签生气离场

无语!德约中网逆转后给球迷签名 现场争吵不断 他拒签生气离场

念洲
2026-10-05 11:08:13
2026-10-05 21:03:00
CreateAMind incentive-icons
CreateAMind
CreateAMind.agi.top
1610文章数 21关注度
往期回顾 全部

科技要闻

2026年诺奖:三名科学家因光遗传学获奖

头条要闻

松岛辉空登顶男单世界第一 终结国乒8年7个月榜首垄断

头条要闻

松岛辉空登顶男单世界第一 终结国乒8年7个月榜首垄断

体育要闻

30天30队·热:扬尼斯、阿德巴约与克雷

娱乐要闻

蔡康永回应漏洞百出,太平轮旧事被扒

财经要闻

零跑声明切割!蔡康永两面人身份被抵制

汽车要闻

方程豹9月热销破4万 首款皮卡鲨鱼将于四季度上市

态度原创

本地
家居
艺术
手机
军事航空

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

吴冠中 大英博物馆展过的香港夜,1024万!

手机要闻

荣耀MagicOS 11新增自定义充电上限功能,充多少自己决定

军事要闻

俄军连续4天轰炸基辅大桥

无障碍浏览 进入关怀版