首页 >> 正文

uncanny+valley

来源：baiyundou.net 日期：2024-08-09

在这些年来，眼动追踪技术经历了怎样的发展历史？这篇文章里，作者总结了眼动追踪技术的历史，并对眼动追踪交互应用的分类、眼动追踪性能等方面做了总结，一起来看看吧，或许有助于你了解XR场景下的眼动追踪应用。

本文从以下两篇文献出发，系统总结了基于注视的交互（Gaze-based Interaction）30 年来的进展与现状，并结合眼动与注意的生理心理机制，总结眼动追踪技术为 XR 场景下的人机交互带来的创新与挑战。

Duchowski, A. T. (2018).Gaze-based interaction: A 30 year retrospective.Computers & Graphics,73, 59-69.
Adhanom, I. B., MacNeilage, P., & Folmer, E. (2023).Eye Tracking in virtual reality: A broad review of applications and challenges.Virtual Reality, 1-25.

一、眼动追踪技术的历史

回顾过去 30 年，眼动追踪技术的发展历史大致可以分成三个阶段：

2000 年前，早在 19 世纪开始的人眼注视点研究，主要应用于生理学、心理学及眼科学相关学术研究领域，用于理解人类的眼睛是如何工作的，以及人是如何在有意识和无意识的情况下处理信息的（Javal，1990）。

2000～2020，这一阶段随着 IT 行业等兴起，互联网经济几乎等价于“注意力经济”，也被称为“眼球经济”，伴随着眼动追踪技术的小型化、轻量化，越来越多地应用于网页用户研究、广告营销等领域。

2020 后，眼动追踪技术等应用领域更加广泛，特别是近眼显示形态的 XR 设备上开始集成了眼动追踪技术，最具代表性的有来自微软的 AR 眼镜 HoloLens 2 和广泛应用于科研领域的 HTC VIVE Pro Eye，均发布于 2019 年。

https://kenpfeuffer.com/eye-hand-symbiosis-what-guide/

关于眼动追踪的实现技术有很多，包括但不限于：

眼电图（EOG）
巩膜电磁追踪线圈
基于视频瞳孔监控
红外角膜反射

XR 近眼显示设备基本上采用的都是红外角膜反射技术，简单来说就是利用角膜与虹膜对近红外光线反射的差异，通过近红外补光灯和近红外摄像头捕捉并计算眼动方向（闫国利, 白学军, 2018）。

眼镜式眼动追踪示意图

二、眼动的生理特征

人眼球运动主要由六块肌肉负责控制，这六块肌肉相互作用，通过收缩和放松实现眼球的上下、左右和判断角度的调整，从而令视线可以随意转动，实现目光的随意转换：

上直肌：使眼球向上运动。
下直肌：使眼球向下运动。
内直肌：使眼球向鼻子方向转动。
外直肌：使眼球向耳朵方向转动。
上斜肌：使眼球上内旋运动。
下斜肌：使眼球下外旋运动。

Eye movement

以下图所示的 XYZ 坐标轴为例，眼球左右旋转范围各为 45°～55°；向上为47°～55°，向下为28°～35°，随年龄的增长旋转范围会有所缩减（Lee 等，2019）。

在人机交互中常用的两种眼动行为指标：注视（Fixation）和扫视（Saccade），前者是指眼睛停留在固定区域一段时间，通常为200-300毫秒，但注视并非眼睛完全固定不动，在这一过程中可能伴随轻微的眼动（震颤、漂移和微扫视）；后者则是指眼睛在不同注视点之间跳转的过程，跳转幅度在1°～45°之间，一般情况下如果跳转角度超过 30° 通常会伴随头部转动以提高效率。

三、眼动追踪交互应用的分类

总结过往眼动追踪在人机交互中的应用，可以分为以下几种类型：

1. 主动型

眼动作为一种输入（Input）方式，主动与界面进行交互，包括选中、确认等操作，例如下面这个使用眼动进行拨号/解锁的交互。

Apple Vision Pro 眼手协同也是一种基于眼动追踪的主动交互方式，具体可以参考上一篇：《苹果 visionOS 交互的近 10 年研究总结》。

除了这种界面输入交互之外，眼动输入也可以用于游戏控制，如 PSVR 2 的游戏中用于武器切换：

psvr2

由于主动型交互需要通过眼动准确传达用户的控制意图，因此对眼动追踪的空间准确性和追踪时延都有较高要求。

2. 被动型

被动型主要是指通过实时跟踪眼睛注视位置，来优化画面渲染的技术。比如注视点渲染，只在人眼视觉最敏锐的中央凹（Foveal）区域呈现最高分辨率，随着远离中央凹的距离增加视敏度也会急剧下降，相应地只渲染较低分辨率的画面，从而大大降低头戴显示设备的画面渲染负担。

Fovated Rendering

另外一种是基于注视点实现自动变焦功能，包括 Apple Vision Pro 在内，目前所有已知的头显的画面都是固定焦距（通常是 1～1.5m），屏幕光线没有深度信息，辐辏和调焦的位置发生了分离，从而产生视觉辐辏调节冲突（VAC 问题），引发视觉疲劳、晕眩等问题。而注视点变焦可以根据用户视线关注的内容动态调整光学焦距，从而实现更加舒适自然的视觉体验。

Meta Varifocal Prototype

被动型应用可以解决 XR 显示方面诸多问题，但是对眼动追踪的时间分辨率有极高的要求，这里的时间分辨率不只是眼动采样率，还要加上从追踪到计算再到渲染整个链路的时间。根据人眼对画面动态变化的感知能力，注视点渲染整体延迟至少要做到 30ms 以内（甚至短）才行。

3. 表达型 & IV. 诊断型

这两类就比较简单了，表达型主要应用于驱动数字人（Avatar），我们常说的恐怖谷效应（Uncanny Valley）其实很大程度上就是因为实体或建模的数字人眼神空洞缺少生气，通过追踪用户真实的眼动行为并映射到虚拟形象上，可以达到更加真实自然的效果，也可以在虚拟形象社交场景中提供更加丰富的情绪反馈。

Animoji

另外，Apple Vision Pro 的反向透视（Eyesight）功能也是一种基于眼动追踪的表达型应用，它通过内部摄像头追踪用户实时眼动再重新建模并渲染在外屏上，从而减轻佩戴者与旁边人之间的隔阂。

AVP Eyesight

表达型和诊断型应用对眼动追踪的准确性和实时性远没有前两种交互的要求那么高，甚至可以根据实际应用场景极大简化对眼动数据的依赖（当然这只是相对而言）。

四、眼动追踪性能要求

以上所总结的交互场景很多都还处于实验或原型阶段，其主要原因是当前的眼动追踪技术性能无法满足人眼需求（特别是对于集成在一体机头戴显示设备上的眼动追踪技术），最后我们来总结一下 XR 场景下对眼动追踪的性能要求。

我们需要从空间分辨率（Spatial Resolution）和时间分辨率（Temporal Resolution）两个维度拆解不同应用场景对眼动追踪性能的需求，其中空间分辨率包括准确性（Accuracy）和精确性（Precision）；而时间分辨率则包括采样率（Sampling Rate）和整体延迟（End-to- End Latency）。

当前一些头戴显示设备的眼动追踪性能指标（未列入的Meta Quest Pro参数可能和HTC Vive Pro Eye接近）：

五、总结

XR 场景中基于眼动追踪的交互方式，可以提供更加自然、舒适、顺畅、沉浸的用户体验，但同时也对眼动追踪技术的准确性和实时性等性能提出更高的要求。Apple Vision Pro 作为一款成熟度相当高的消费级头戴设备，可能已经把硬件技术和交互设计拉到极致来保障基于眼动的用户体验，希望可以由此带动整个 XR 行业向前迈进！

⬇️ 完整参考文献点击原文查看。

https://hackvision.pro/post/gaze-based-interaction-30-years.html

本文由 @V2XR 原创发布于人人都是产品经理。未经许可，禁止转载。

题图来自 Unsplash，基于 CC0 协议

该文观点仅代表作者本人，人人都是产品经理平台仅提供信息存储空间服务。

","gnid":"94c75469624abc058","img_data":[{"flag":2,"img":[{"desc":"","height":"420","title":"","url":"https://p0.ssl.img.360kuai.com/t01e98e6c627c732fff.jpg","width":"900"},{"desc":"","height":"488","title":"","url":"https://p0.ssl.img.360kuai.com/t017d7a195473bbf60a.jpg","width":"1080"},{"desc":"","height":"582","s_url":"https://p0.ssl.img.360kuai.com/t01c90d92de85152ae5_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01c90d92de85152ae5.gif","width":"1079"},{"desc":"","height":"500","s_url":"https://p0.ssl.img.360kuai.com/t015079c0b8e7ca5d4a_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t015079c0b8e7ca5d4a.gif","width":"480"},{"desc":"","height":"807","title":"","url":"https://p0.ssl.img.360kuai.com/t01e3839dbd985ff940.jpg","width":"1080"},{"desc":"","height":"613","title":"","url":"https://p0.ssl.img.360kuai.com/t01ffd98761e418889a.jpg","width":"1080"},{"desc":"","height":"508","title":"","url":"https://p0.ssl.img.360kuai.com/t015a1879f5d9d01518.jpg","width":"1080"},{"desc":"","height":"480","s_url":"https://p0.ssl.img.360kuai.com/t01af4a34fdbdc10d1a_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01af4a34fdbdc10d1a.gif","width":"480"},{"desc":"","height":"361","title":"","url":"https://p0.ssl.img.360kuai.com/t01d6eb5a00a5a6ce63.jpg","width":"640"},{"desc":"","height":"388","s_url":"https://p0.ssl.img.360kuai.com/t017ed0a926eef31dc9_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t017ed0a926eef31dc9.gif","width":"690"},{"desc":"","height":"189","title":"","url":"https://p0.ssl.img.360kuai.com/t018c664d428ca653e1.jpg","width":"800"},{"desc":"","height":"480","s_url":"https://p0.ssl.img.360kuai.com/t0134bfa2a1cd123933_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t0134bfa2a1cd123933.gif","width":"640"},{"desc":"","height":"562","title":"","url":"https://p0.ssl.img.360kuai.com/t01f86e3250b7a2c003.jpg","width":"750"},{"desc":"","height":"892","title":"","url":"https://p0.ssl.img.360kuai.com/t015db00d6ccaedac35.jpg","width":"1080"},{"desc":"","height":"335","title":"","url":"https://p0.ssl.img.360kuai.com/t0175d10809d60a9abe.jpg","width":"1080"}]}],"original":0,"pat":"art_src_3,fts0,sts0","powerby":"pika","pub_time":1692758220000,"pure":"","rawurl":"http://zm.news.so.com/8f7c633a2c7960274e300f1e7499b5b5","redirect":0,"rptid":"094e4a3a6539f841","rss_ext":[],"s":"t","src":"人人都是产品经理","tag":[{"clk":"ktechnology_1:apple","k":"apple","u":""}],"title":"眼动追踪交互：30年回顾与展望

空黄都1876奇的两个读音 -
容到钟19252808623 ______ 奇 qí 部首笔画部首:大部外笔画:5 总笔画:8 五笔86:DSKF 五笔98:DSKF 仓颉:KMNR 笔顺编号e68a84e8a2ad62616964757a686964616f31333262343639:13412512 四角号码:40621 Unicode:CJK 统一汉字 U+5947 基本字义 1. 特殊的...

空黄都1876关于金刚狼儿子的所有漫画名字
容到钟19252808623 ______ 他的全名是戴肯·弘彰(Daken Akihiro,“Daken”是野狗的意思,来源于歧视称呼,“Akihiro”是其日本养父的姓氏). 戴肯只有两部个人刊,一部是《Dark Wolverine》(2009-2010),总共16期,故事从大事件“黑暗王朝”连到“围城”结束...

空黄都1876复仇者漫画中X战警被团灭几次? -
容到钟19252808623 ______ 您可能有些误解,复仇者和X战警是两个互相独立的组织,X战警在复仇者漫画中出现的次数少之又少.可能您的本意是 Marvel公司漫画中X战警被团灭几次? 言归正传,X战警在主世界漫画里被全体打翻的经历不少,具体多少我说不清,至少有...

空黄都1876什么是鬼 -
容到钟19252808623 ______ 鬼,又称亡灵,传说是死亡所留下的的魂魄,常被认为是死人的幽灵.科学来说是没有鬼存在的,所谓的鬼只是人们对外界凶险的臆断;知道里面总有人好问有没有鬼,到底有没有呢?不知道,因为很多问题科学还无法证...

空黄都1876求《X战警 - 逆转未来》的原著漫画,不知道有没有,或者是哪一部漫画中有闪烁这个角色? -
容到钟19252808623 ______ 《逆转未来》的主要是由X战警漫画的一个故事线(story-line)＂Days of Future Past＂,“过去未来之日”改编的,故事包括《X-men #140》《Uncanny X-men #141-142》(这两个本身是一本刊物,恰好中间改名).目前网上有一个很多年前的初始汉化版,精校版据说正在重制中.百度“过去未来之日”即可. 先声明此漫画为80年代作品,画风差异很大.而且和电影相似度很低,看不看它没有关系.闪烁在此故事中未出场. 闪烁的主要故事在平行世界的《Exiles》流放者系列里,目前没有人汉化.

空黄都1876请问“神秘的箱子”英语怎样写?
容到钟19252808623 ______ “神秘的箱子 (1)crypic box /case (2) mysterious box/case (3) mystic box/case (4)occult box/case (5) secret box/case (6) uncanny box/case (7)unearthly box/case (8) unsearchable box/case

空黄都1876十丰简单的英语圣诞小诗 -
容到钟19252808623 ______ 1.Christmas is a holiday for friends,However they may be, or not, related.Remember that the three wise kings were strangers In search of one remote, uncanny dream.So may we all be far more than we seem,Together bound for dark and haunting ...

空黄都1876dnd刺客PK加点 -
容到钟19252808623 ______ DND当然有刺客,一般武僧(MONK)和游荡者(ROGUE)都能进阶刺客刺客(ASSASSIN)生命骰:d6.先决条件要具备刺客的资格,人物必须符合以下全部条件.阵营:任何邪恶阵营.技能:易容4级,躲藏8级,潜...

空黄都1876鬼斧神功的意思鬼斧神功是一个成语, -
容到钟19252808623 ______[答案] 应该是鬼斧神工 ( guǐ fǔ shén gōng ) 形容建筑、雕塑等技能的精巧,非人工所能为.也说“神工鬼斧” 近义词:神工鬼... “年来岩底采无余,鬼斧神工多得髓.” 英语:uncanny workmanship 典故: 春秋时期,鲁国有个技艺特别高超的木匠,...

（编辑：自媒体）