纪宏飞
English

重塑手工艺学习：基于人工智能增强混合现实的拉坯辅助系统的设计洞见

设计技术研究

项目来源

ACM Designing Interactive Systems Conference 2025

合作者

Steve Peiyu Hu, Dina El-Zanfaly

项目时间

2024-2025

随着媒体技术和创客文化的发展，手工艺学习已从以教师指导为主的模式扩展到多样化的自主学习。然而，像陶艺这样的手工艺因其具身性和隐性知识传递的困难，仍然具有较高的学习门槛。尽管混合现实（MR）与人工智能（AI）已被用于支持具身任务学习，但其在手工艺实践中的应用仍有待深入探索。我们提出了一个AI增强的MR陶艺指导系统，以探讨这些技术与手工艺实践之间的相互作用，包括它们如何影响教学设计、塑造用户认知并转变学习情境。该系统结合计算机视觉与大型语言模型（LLMs），通过沉浸式多媒体教学与基于形状的实时反馈，引导学习者进行拉坯操作。在“通过设计进行研究”（Research-through-Design）的过程中，我们与二十位陶艺初学者及经验丰富的从业者共同设计并评估了该系统。我们提出了面向AI-MR工艺学习系统的设计洞察，并指出其在创意、协作及更广泛工艺制作场景中应用的潜力。
The projects overview

研究背景

近年来，手工艺学习已从传统的面对面教学扩展到多种形式的远程与自我主导的学习实践，这使得不同技能水平的各个人群能够接触和探索手工艺。然而，由于隐性知识难以习得，真正达到熟练甚至精通仍然具有挑战性，这主要体现在以下几个方面：

  • 身体-材料-工具之间复杂的协同（身体／感知层面）；

  • 在以“风险型技艺”（workmanship of risk）为特征的复杂手工艺过程中，对“关键事件”（critical incidents）的反思（关系／过程层面）；

  • 工作室环境中师徒式教学模式所涉及的社会关系（集体／社会层面）。

解决方案

研究问题

AI 增强的混合现实（MR）系统与具身手工艺实践之间的相互作用如何揭示了系统、学习者与实践者角色的演变？

  • （问题1）AI 增强的 MR 技术与手工艺学习的具身特征之间的相互作用如何影响教学指令的设计？
  • （问题2）初学者与经验丰富的陶艺实践者如何看待该系统在支持手工艺学习方面的能力？他们又如何设想其在未来实践中的角色？
  • （问题3）当 AI-MR 系统与工艺实践协同演化、并对既有的工艺角色与流程提出挑战时，会产生哪些更广泛的影响？

研究方法

Research-through-Design.

为探究上述研究问题，我们采用了以设计为研究（Research-through-Design）的方法，包含三个阶段：形成性研究、系统设计以及用户研究。

形成性研究

On-site study of the ceramic learning process.

我们进行了为期一个月的陶艺学习：（a）我们在工作室中进行沉浸式陶艺学习所获得的成果；（b）民族志研究过程中学习者与指导者之间的互动。

Schematic diagram of each step in wheel-throwing.

拉坯流程可划分为以下阶段：（1）准备：固定并稳定陶土；（2）确定中心：确保陶土在转盘上保持平衡；（3）开口：形成初始的内部空腔；（4）拉高：将器壁拉升至所需高度；（5）塑形：塑造具体形态，例如花瓶的颈部；（6）收尾：将完成的作品从陶轮上取下。

Overview of the system design process across three phases.

系统设计流程总览：我们通过文献回顾与形成性研究识别研究空缺、明确设计目标，并进行系统开发。

System Design

The ceramics guiding system comprises two main components.

陶艺引导系统由两个主要部分组成：硬件与应用。硬件包括陶轮、网络摄像头以及作为显示设备的 Quest 3 头显。软件模块包括：用于处理检测到的形态并通过 OpenAI API 生成指导信息的 Python 脚本；一个经定制化改写的 XRHand 手势识别与引导模块；以及用于管理学习流程的 C# 脚本，涵盖后端逻辑与前端用户界面。

Novice system’s UI and functionality.

学习模式系统的界面与功能。左侧：面向初学者的用户界面示意图：（1）指令面板，展示当前步骤的全部文字指导；（2）用于参考与模仿的手势与陶土全息模型；（3）用于追踪学习进度的进度条；（4–6）可选面板，用于视频回放、提示信息与语音指令列表。右侧：头显中系统功能的现场演示：（a）结合文字指令的手势模仿；（b）基于视频与提示的引导；（c）通过手部与工具进行的规则驱动式纠正；（d）包含评分与下一次练习建议的总结反馈。

Experienced system’s UI and functionality.

练习模式系统的界面与功能。左侧：面向经验丰富的陶艺实践者的用户界面示意图：（1）指令面板，显示全部文字指导；（2）用于技能回顾的可选手势与形态全息模型；（3）用于追踪当前陶土形状的可选对比面板；（4）用于指示进展的可选形态评分条；（5）显示所有可用语音指令的可选面板。右侧：头显中系统功能的现场演示：（a）练习目标与参考面板；（b）用于技能复习的手势全息模型；（c）结合文字、语音与全息模型的多模态建议；（d）基于颜色编码的形状引导。

研究发现总结

主题子主题简要描述

虚拟指令与物理环境之间的张力

MR视频与全息投影作为具身手工艺学习的复合视图

  • 手势全息模型有助于理解手部动作。
  • 形状全息模型有助于目标识别与进度追踪。
  • 全息内容细节不足，体验上偏机械。
  • 视频为新手提供更丰富的细节与隐性线索，也为熟练用户提供技能回顾。
  • 视频与全息内容的交叉参照支持空间理解与错误纠正。
MR在物理环境中既是辅助也是障碍
  • MR超越了屏幕式教学，让实践者直接与材料互动。
  • 初学者常被引导去与全息内容互动，有时会破坏正在制作的陶土。
  • 参与者在解读空间指令的同时，难以完成高精度动作。

系统流程对工艺知识传递的影响

沉浸式体验具有优势，但受技能差异所制约

  • 分步骤流程具有沉浸感，但对全息投影与现实世界中进度的不匹配较为敏感。
  • 固定提示与评判标准难以适应个体进度差异。
系统与手工艺知识习得的自主性
  • 自主性使参与者能够定制学习进程。
  • 初学者获得了试错空间，但存在跳过关键步骤的风险。

指令需要超越形态的反馈

  • 指令缺乏个性化与情境关联。
  • 反馈过于集中于基于陶土形态的评估。
  • 参与者期望更主动的引导。

参与者对系统在手工艺学习中角色与使用场景的认知

系统的使用时机与方式
  • 在初学阶段与获取技能中具有较高价值。
  • 适用于混合式学习与课后练习。
  • 为教师提供可扩展、个性化的教学支持。
  • 作为学习者与教师之间的中介。
  • 在社交活动、专业培训与生产辅助等方面的潜在应用。
系统与人类教师的比较
  • 作为知识库，在支持异步教学方面表现突出。
  • 缺乏对隐性知识、物理介入、情感支持与实时反馈的传达能力。

即兴创作受拉坯工艺特性与技能水平的限制

  • 对即兴创作的限制贯穿了不同技能水平的实践者。
  • 初学者在应对困难时往往无意识地进行即兴操作。
  • 经验丰富的陶艺实践者则受到任务限制、既有习惯、完美主义与材料物理限制的约束。

讨论与设计启示

主题子主题简要描述

来自系统的设计洞见：有效策略与改进机会

面向沉浸式MR的手工艺学习设计：复原现实、重构现实与增强现实

  • 复原现实（Restoration）： 对现实世界中的教学指令进行解读与组织。
  • 重构现实（Reconstruction）： 支持由用户控制的回放。
  • 增强现实（Augmentation）： 使用复合视图与游戏化机制。

MR 中的指令设计：细节与层级

  • 提供细致且具情境感知的指令。
  • 借鉴工作室中的主动与被动流程，对指令进行层级化组织。

  • 改进机会包括：关键时刻的实时反馈、指标可视化、学习者协作输入 以及基于意图的自适应 AI 支持。

AI-MR 中更有效的沟通功能设计：模态与情感支持

  • 采用比喻式的教学语言、各模态对应的引导与富有情感的反馈。

  • 改进机会包括：AI 生成的情境化指令、多样化的手势数据集，以及对 AI-MR 交互中情感反馈的系统性评估。

超出设计预期的洞见：新兴模式与未来设计启示

MR中的用户界面元素空间结构与身体动作体验设计：指令空间分布与身体参与

  • 全息内容的放置会干扰练习，而有限的视线范围与物理约束限制了指令的有效呈现。

  • 提供结合触觉反馈与结构化的指令空间结构设计，以支持涉及全身运动的手工艺实践。

面向个性化工艺学习的 AI-MR 设计：弥合技能差异与促进成长

  • 在自适应个性化与标准化流程之间取得平衡。

  • 利用 AI 应对横向技能差距，并支持隐性知识与设计判断的纵向发展。

超越学习的 AI-MR 系统：工艺创作与协作

迈向创造性工艺支持系统

  • 支持从无意识即兴到有意识即兴创作的转变，以促进实践者成长。

  • 利用 AI 识别并鼓励有意义的“犯错”，将其转化成基于引导的实验以支持创作。

AI-MR在手工艺实践中的角色演变与潜在应用

  • 随着AI赋予MR系统更高的自主性，教学模式从人与人教学转向人与智能体协作。

  • 将系统定位为具有不同自主性的协作者，适用于教育、专业与休闲等不同情境。

全文

← 返回项目页面