研究背景
该研究探讨了大语言模型（LLM）幻觉与具身媒介（embodied medium）的纠缠。幻觉作为一个新兴的概念，其以设计为导向的视角尚待探索。当前的算法体验（AX）原型设计方法提及了算法的负面影响，但没有详细说明如何处理 这些“错误或不可预测”的结果，它也只探讨了虚拟和有形的算法体验，并从以人为本的设计角度进行探索。因此，本研究提出通过将算法体验扩展到更广泛的具身媒介来设计幻觉体验，并将算法体验原型制作方法用于思辨设计。 为了更好地传达体验，本研究侧重于两种相遇情景：从第一人称角度研究多模态作为体验传达媒介的潜力，并从第三人称角度将思辨设计与实体材料之外的更广泛的具身媒介相结合。
当前研究的空白与机遇
叙事媒介 - 第一人称和第三人称
研究问题
当大语言模型幻觉融入日常的具身互动体验时：RQ1 - 用户如何识别、解读幻觉并与之产生共鸣?
RQ2 - 设计师如何通过来自用户的启示，通过具身媒介和理论来设计幻觉体验?
研究假设
交互过程中的算法经验
-
算法逻辑/机制体验: 这种体验源于算法的工作原理。对于机器学习中基于预测的算法，输入输出关系清晰可见。相比之下，大语言模型通过预测的代币序列生成结果，由于输出基于自然语言，用户对其的影响更间接，从而导致了不同的交互体验
-
。来自算法生成内容体验: 这种体验侧重于算法生成内容类型。对于大语言模型而言，生成的文本、语音、图像或3D 模型均提供不同的体验，具体取决于特定情景中的模态。
-
来自人为解读的体验: 用户根据自己的社会技术背景来解释算法输出，从而根据他们与结果的互动方式产生不同的反应和体验。
交互流程中的算法体验
幻觉体验词汇表
这里的幻觉综合了导致了回复偏差各种技术问题。这些问题起因不同，产生的结果也不同，并且在很大程度上受社会技术背景的影响。我提出以下词汇表作为想象潜在幻觉体验的切入点：
-
同理心 — 来自技术缺陷的情感体验: 这种视角源于用户对幻觉的解读。有些人表示沮丧，而另一些人则将幻觉视为陪伴，在错误但温和的反馈中寻求情感支持。技术缺陷变成了一种个人的情感体验.
-
机缘巧合 — 与社交关系产生共鸣的另类体验: 这种体验来自幻觉所导致的意料之外的社会关系，以激发好奇心、同理心和反思。这些偶然的时刻可以帮助用户以有意义的方式与更广泛的社交情景建立联系。
-
炼金术 — 来自幻觉内容的创造性体验 在内容生成中，幻觉虽然会生成不准确的结果，但可以激发创造力。用户可能会产生超出他们认知或期望的灵感，将幻觉转化为创造性探索的催化剂。
幻觉体验词汇表研究领域图
研究方法
幻觉体验原型制作
原型 01：Moodie Assistant
关键词：同理心，情感投射，解释的模糊性
Moodie Assistant 将算法体验描述为对幻觉的情感反应。该原型采用实体语音助手的形式，但设计了指示幻觉程度的表盘。它还配备了一系列遥控器，使用户/观众可以在对话中以不同的互动方式和精度投射自己的情感体验。不同的角色、用户和受众，在与设备互动时会有不同的情绪反应。原型为我们提供了讨论解释模糊性的媒介。
Moodie Assistant: 带指示幻觉程度的语音助手以及遥控器
Moodie Assistant技术分析图
原型 02：Whisper Web
关键词：机缘巧合，社交偶遇
WhisperWeb 将幻觉体验视为社交偶遇。该原型以聊天助手的形式呈现，通过收集使用者的对话作为上下文 ，用于模拟语言模型的 “训练集”。该原型试图反思当幻觉导致的错误情景反而暗示了不同的社会情景时人们的反应。该原型没有对用户的交互进行直接干预，而是利用可视化媒介来观察和记录幻觉如何导致人与对话代理媒介之间的关系变迁。
Whisper Web: 因为输入过的内容被作为语言模型的训练集，两个陌生用户在提供的训练集作为token被调用而连接在一起，并通过实体媒介接收到了微妙的提示
Whisper Web技术分析图
原型 03：Mindscape
关键词：炼金术，幻觉转化为创意
Mindscape通过从幻觉中寻求创造性机会来构建体验。该原型是沉浸式平台上的扩展现实应用程序，允许用户使用强化了幻觉的语言模型构思和创建另一个虚拟世界，该模型更多地关注头脑风暴的工作流程：构思与迭代。该原型旨在研究幻觉影响下的生成内容对创造力的影响。该原型摆脱了现实物理世界的限制，最大限度地解放了想象力。
Mindscape: 使用幻觉下的大语言模型通过文字游戏进行场景概念设计头脑风暴
Mindscape技术分析图
思辨电影 — 体验叙事
一段展示了在日常生活中遇到所提出的原型的场景短片
用户研究
通过口耳相传的方法，研究招募了六名受试者，所有受试者都是项目的其他学生或毕业生。所有受试者都有丰富的设计实践经验，熟悉与大语言模型相关的应用程序/工具。他们被分成三组，连续三天进行了三次观察研究。在观察研究和随后的访谈中，研究人员可倾听受试者“说” 的内容，并观察他们 “做了什么”。在使用亲和图和交互式可视化分析收集到的数据后，研究者在接下来的一周举办了一次工作坊，进行研究反思和探索性参与式设计，邀请受试者作为设计专家与用户提出 “解决方案”。
用户研究：观察研究与工作坊
研究发现 - 识别、解读、共鸣
| 主题 | 阶段 | 要点 |
|---|---|---|
| 大语言模型幻觉特征 | — |
|
| 具身媒介对幻觉体验的影响 | 识别 |
|
| 解读 |
| |
| 共鸣 |
| |
| 幻觉体验中的互动模式 | 识别 |
|
| 解读 |
| |
| 共鸣 |
|
设计启示
在幻觉识别和共鸣的界限进行原型设计
设计师在设计幻觉体验时，需要在清晰识别算法错误和幻觉之间取得平衡，以唤起用户的同理心，与体验建立更深层次的联系。这种平衡可确保用户能够与幻觉产生共鸣而不会被明显的错误分散注意力。
基于幻觉和媒介的本质进行原型设计
幻觉是否更适合以事实知识或抽象概念进行表达，选取的具身媒介是否增强了其可解释性和用户参与度？原型设计应符合这些特征，不仅可以为未来的设计提供见解，还可以更有效地与受众进行沟通。
为关键的、有影响力的时刻进行原型设计
虽然一些幻觉时刻，例如事实错误或脱离上下文的回应，是体验的关键，但还有一些是良性或者难以发现的，在原型设计中可能会被忽视。原型设计不应该面面俱到，而应专注于关键时刻以聚焦用户的感知。
以最小的学习负担进行原型设计
当原型设计作为探索设计启示和未来想象的一种探索手段时，设计师应使用快速、易于理解的方法来减轻原型设计媒介带来的客观负担和复杂或不明确的思辨主旨所带来的主观负担。