安卓游戏虚拟键盘
前面两篇文章讨论了 visionOS 键盘和虚拟键盘交互中触觉缺失的问题,最近 Meta 放出了将任意物理平面变成虚拟键盘输入界面的方法,通过将虚拟键盘“投射”到物理桌面上,解决了触觉反馈的问题,当用户在虚拟键盘键入文本时,头显可以辅以相应的视觉或听觉提示,进而增加用户按键信心。不仅如此,系统可以继续利用基于人工智能的输入法自动纠错和自动判断等功能,进一步提升输入效率和精度,可以达到每分钟100单词的成绩,准确率高达 98.9%。
本文就来盘点一下那些虚实结合场景下文本输入的(奇奇怪怪的)方案。
![](https://p0.ssl.img.360kuai.com/t013c7b05a56a8de8b2.jpg)
与人们已经习惯的实体键盘、触摸屏相比,VR/AR 中输入文本的困难,总结原因要么是“看得见摸不着”,要么是“摸得着看不见”:虚拟键盘界面,视觉上看得见,但缺少触觉反馈(触觉缺失导致的问题已经在上一篇讲过了);实体键盘在触觉上摸得着,在VR场景中不可见,在AR场景中与便携属性不符。
为了提高文字输入效率,过往研究提出了以下不同类型的方案:
- 优化布局(QWERT → 灵活布局):从传统的 QWERT 键盘布局,到更符合悬空手势、控制器输入的灵活布局,通过交互设计的方式提升文字输入效率;
- 变换控制方式(手柄 → 裸手 → 穿戴):从传统的手柄(只有两个输入触点)到裸手识别,再到指环、腕带等穿戴设备,充分利用不同的控制方式,同时可以结合不同的布局优化;
- 多模态输入(手眼 → 语音 → 大脑):从手眼协同,到语音识别,再到脑机接口,充分利用人的不同感知通道
一、优化布局
1. Google 敲鼓键盘这是 Google 为其 Daydream 项目(早期将 Android 设备变成 VR 平台的项目)设计的虚拟键盘布局和控制器输入方式,配合 Daydream 的长条形状控制器,呈现一定弧度的键盘布局和圆鼓形状的按键设计,让文本输入像演奏音乐一样充满节奏和乐趣。
![](https://p0.ssl.img.360kuai.com/t01b5c1bce4b65a9535.gif)
Google Daydream drum keyboard
2. HoloLens 混合现实键盘HoloLens 的混合现实键盘采用的是传统的 QWERT 布局,事实上有点“过于传统”了,第一眼就让人联想到传统的打字机,再配上若有若无淡蓝色的荧光,一股浓浓的复古未来主义(Retro-futurism)风,令人印象深刻!
![](https://p0.ssl.img.360kuai.com/t01582eb987b62b7bbe.jpg)
HoloLens keyboard
![](https://p0.ssl.img.360kuai.com/t01dd1a7e482a636aa7.jpg)
Typewriter
3. 跟手布局Apple Vision Pro 发布的时候就有网友做了梗图——更适合中国人的“算命输入法”。
![](https://p0.ssl.img.360kuai.com/t01e1dab28b0b68caad.gif)
算命输入法
事实上确实有人在做相关的设计和专利,通过将按键布局与用户手部关节点相对应,借助手势识别实现复杂的文本输入,甚至可以在关节点上绑定“应用快捷键”,不止能用于文本输入:
![](https://p0.ssl.img.360kuai.com/t013ef892e0bad6f7b5.jpg)
BlueTap 输入法专利
![](https://p0.ssl.img.360kuai.com/t01968208c0e37f0b1a.jpg)
BlueTap 输入法 – 快捷方式
4. 灵活组合布局另一种布局方式是打破现有的 QWERT 排列方式,例如结合游戏手柄的摇杆,只通过方向选择的序列组合实现不同字母的选择。这类布局的设计思路与手机“九宫格输入法”一样,在有效按键数量受限的情况下,通过步骤组合来获得更多输出结果,即以时间换空间。
![](https://p0.ssl.img.360kuai.com/t0196b05a7ddf889cea.jpg)
PizzaText
![](https://p0.ssl.img.360kuai.com/t01bf012d46838f62a5.jpg)
PinchType 手势分组
改变输入按键的布局通常需要与特定输入控制方式相配合,并且需要辅助更好的输入算法,这类方法最大的问题在于打破用户的常规输入习惯,学习成本过高因而实用性不足(但对于熟练掌握功能机时代九宫格输入法的用户来说,上面的“算命输入法”很可能是一个不错的方案????)。
二、变换控制方式
1. 手势姿态追踪这一类输入方式并不需要真的键盘存在,主要是利用人们熟练打字之后形成的肌肉记忆,用户只需要让自己相信双手正在敲击键盘打字,它可以通过识别手指的运动模式,来推断对应的文字输入。
![](https://p0.ssl.img.360kuai.com/t01c669ac61bd68b79c.jpg)
TapID
![](https://p0.ssl.img.360kuai.com/t01388a2db5dd04ac5c.gif)
TapXR
这类方法没有给用户带来额外的学习负担,只是需要熟悉一下如何迁移自己在真实键盘上打字的肌肉记忆。
2.手写控制这一类输入方法,通过指环直接监控手指的活动,从而完成更加灵活、精确的手指姿势识别,再辅助输入算法以实现文本或指令的输入。
![](https://p0.ssl.img.360kuai.com/t0165ef4985ef91f9a7.jpg)
Apple 智能指环专利
![](https://p0.ssl.img.360kuai.com/t013e11029f1d3fcc56.jpg)
2014年的智能指环众筹项目,已停止
3.键盘追踪键盘追踪的方法就比较直接了,要么是把真实的键盘通过定位将1:1模型投射到VR里,要么是通过局部透视(Passthrough)的功能,将键盘区域开放给给虚拟场景。总的来说就是让键盘在 XR 场景中能够同时被看得见和摸得着。
![](https://p0.ssl.img.360kuai.com/t01a6fd8d2b9f6e8f49.jpg)
罗技键盘Bridge
三、多模态输入
1. 语音输入语音转文字输入其实是对手动输入最便捷、准确率最高的补充,现有的技术也足够成熟。只不过在应用场景上,语音输入更适合较简短的指令输入(如 Siri),或者对文本精确度要求没有那么高、可以事后进行重新编辑的场景(如会议记录、语音聊天等)。
![](https://p0.ssl.img.360kuai.com/t01a0ca295c6400e7bd.jpg)
如果是类似办公的 XR 场景下,那么大段的语音输入转文字后可能还需要通过其它方法辅助进行精确编辑,另外语音交互也对用户场景有诸多限制????:
![](https://p0.ssl.img.360kuai.com/t016e3f2849ca6f0a13.jpg)
一般的脑机接口(BCI)技术是指通过读取大脑信号,加以判断并反馈给计算机进行输入或控制。其本质上和前面的手部信号其实差别不大,只不过大脑电信号要比肌肉电复杂得多,同时对大脑决策指令的解读也可以完成比文本输入更加复杂的任务。
![](https://p0.ssl.img.360kuai.com/t01544c4b8c6a31588b.jpg)
21 年发表在《Nature》的一篇研究可以让瘫痪人士通过书写来交流,他们在一个四肢瘫痪患者的手部运动相关皮层区域记录了来自植入电极的神经活动。即使在瘫痪多年后,他的运动皮层仍保留了对不同字母书写动作的强大神经表征。这种方式是直接对大脑信号的解读,尤其是把运动信号的指令解读出来,则可以直接在计算机中对书写或输入的结果进行翻译,有可能这才是终极解决方案!
![](https://p0.ssl.img.360kuai.com/t016f6a7ddd1d862fa3.jpg)
参考资料:
- https://niteeshyadav.com/blog/are-we-ditching-keypads-for-good-in-ar-vr-84902/
- Dube, T.J., Arif, A.S. (2019).Text Entry in Virtual Reality: A Comprehensive Review of the Literature. In: Kurosu, M. (eds) Human-Computer Interaction. Recognition and Interaction Technologies. HCII 2019. Lecture Notes in Computer Science, vol 11567. Springer, Cham.https://doi.org/10.1007/978-3-030-22643-5_33
- TapID: Rapid Touch Interaction in Virtual Reality using Wearable Sensing
- Willett, F. R., Avansino, D. T., Hochberg, L. R., Henderson, J. M., & Shenoy, K. V. (2021).High-performance brain-to-text communication via handwriting.Nature,593(7858), 249–254. https://doi.org/10.1038/s41586-021-03506-2
作者:V2XR; 微信公众号:@V2XR
本文由 @V2XR 原创发布于人人都是产品经理。未经许可,禁止转载。
题图来自苹果官网,基于 CC0 协议
该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。
","gnid":"913a88e0dfe61819b","img_data":[{"flag":2,"img":[{"desc":"","height":"420","title":"","url":"https://p0.ssl.img.360kuai.com/t013c7b05a56a8de8b2.jpg","width":"900"},{"desc":"","height":"507","s_url":"https://p0.ssl.img.360kuai.com/t01b5c1bce4b65a9535_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01b5c1bce4b65a9535.gif","width":"900"},{"desc":"","height":"607","title":"","url":"https://p0.ssl.img.360kuai.com/t01582eb987b62b7bbe.jpg","width":"1080"},{"desc":"","height":"1080","title":"","url":"https://p0.ssl.img.360kuai.com/t01dd1a7e482a636aa7.jpg","width":"1080"},{"desc":"","height":"700","s_url":"https://p0.ssl.img.360kuai.com/t01e1dab28b0b68caad_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01e1dab28b0b68caad.gif","width":"406"},{"desc":"","height":"653","title":"","url":"https://p0.ssl.img.360kuai.com/t013ef892e0bad6f7b5.jpg","width":"1080"},{"desc":"","height":"767","title":"","url":"https://p0.ssl.img.360kuai.com/t01968208c0e37f0b1a.jpg","width":"1080"},{"desc":"","height":"1197","title":"","url":"https://p0.ssl.img.360kuai.com/t0196b05a7ddf889cea.jpg","width":"1080"},{"desc":"","height":"281","title":"","url":"https://p0.ssl.img.360kuai.com/t01bf012d46838f62a5.jpg","width":"500"},{"desc":"","height":"519","title":"","url":"https://p0.ssl.img.360kuai.com/t01c669ac61bd68b79c.jpg","width":"1080"},{"desc":"","height":"270","s_url":"https://p0.ssl.img.360kuai.com/t01388a2db5dd04ac5c_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01388a2db5dd04ac5c.gif","width":"480"},{"desc":"","height":"440","title":"","url":"https://p0.ssl.img.360kuai.com/t0165ef4985ef91f9a7.jpg","width":"782"},{"desc":"","height":"363","title":"","url":"https://p0.ssl.img.360kuai.com/t013e11029f1d3fcc56.jpg","width":"620"},{"desc":"","height":"388","title":"","url":"https://p0.ssl.img.360kuai.com/t01a6fd8d2b9f6e8f49.jpg","width":"694"},{"desc":"","height":"441","title":"","url":"https://p0.ssl.img.360kuai.com/t01a0ca295c6400e7bd.jpg","width":"1080"},{"desc":"","height":"168","title":"","url":"https://p0.ssl.img.360kuai.com/t016e3f2849ca6f0a13.jpg","width":"300"},{"desc":"","height":"340","title":"","url":"https://p0.ssl.img.360kuai.com/t01544c4b8c6a31588b.jpg","width":"600"},{"desc":"","height":"756","title":"","url":"https://p0.ssl.img.360kuai.com/t016f6a7ddd1d862fa3.jpg","width":"1080"}]}],"original":0,"pat":"pdc,art_src_3,fts0,sts0","powerby":"pika","pub_time":1693789500000,"pure":"","rawurl":"http://zm.news.so.com/98e2dae0bae24897ec6ff66b962d2eed","redirect":0,"rptid":"31aaa637eb3b55e8","rss_ext":[],"s":"t","src":"人人都是产品经理","tag":[{"clk":"kdigital_1:lol","k":"lol","u":""},{"clk":"kdigital_1:虚拟键盘","k":"虚拟键盘","u":""}],"title":"盘点一下那些虚实结合的文本输入方式
贝刮进2333手机按上键盘套能玩什么游戏 -
庞蚀枫17175121490 ______ 《游戏键盘 GameKeyboard》对全安卓游戏的虚拟键盘逆向映射到Xperia Play实体键的实现.可以实现安卓游戏中的虚拟键盘映射到实体键上,可以编辑映射的虚拟键位置,使其对位在屏幕的虚拟控制键上,实体按钮才能产生作用.然后可以再手机上玩Xperia Play专属游戏,不过进入游戏前和过程中不能点击返回键,否则键盘会从屏幕消失.
贝刮进2333哥们,安卓侠盗猎车手怎么调出虚拟键盘啊?谢谢! -
庞蚀枫17175121490 ______ 先下载八门神器(有窗口),进游戏,到八门,按菜单键,然后长按菜单键,键盘就出来了.然后就小化八门(不是后台)
贝刮进2333手游虚拟键盘哪个好用,罪恶都市游戏虚拟键盘 -
庞蚀枫17175121490 ______ 手机版侠盗猎车手罪:恶都市作弊不需要键盘,你可以按以下方法开启作弊码: 1,在游戏里从上往下划屏幕(就像拉通知栏一样),屏幕中间就会出现一行英文,如图:
贝刮进2333安卓版半条命2怎么用虚拟键盘玩 -
庞蚀枫17175121490 ______ 点击右上角的键盘图标,也可以使用Ctrl+1快捷键进行快速呼出然后界面的左侧,会弹出来一些工具,通过这些工具我们可以对软件的键位进行更改或者设置然后在点击左侧的工具,然后电脑屏幕上就出现模拟按键,我们将出现的图形设置为相应的模拟按键,然后拖到你想要执行的位置上并且设置命令,就可以执行了.
贝刮进2333游戏中的虚拟键盘怎么消除??? -
庞蚀枫17175121490 ______ 手机设置选项,点程序管理,进入已安装程序,再点你要去掉的虚拟键盘的软件1下,点左下的选项,点地2个选项为 无就OK了~ 查看原帖>>
贝刮进2333安卓模拟器怎么用键盘操作 -
庞蚀枫17175121490 ______ 设置开启虚拟按键.我用叶子猪玩王者荣耀的时候也是用键盘操作的,设置虚拟按键就可以,这个游戏键盘操作比较方便.
贝刮进2333安卓模拟器bluestacks怎么设置虚拟键 -
庞蚀枫17175121490 ______ 1 下载游戏键盘gamekeyboard这个应用.给你准备好了!,下载后直接安装就行(怎么在bluestacks上安装应用参看本文注意事项). 2 鼠标点击game keyboard应用.启动应用 3 应用启动后进入主界面,点击第二步 4 弹出输入法选择...
贝刮进2333安卓带确定和返回的左右软键的虚拟键盘 -
庞蚀枫17175121490 ______ 输入法里的0123456789*#可以控制java游戏,回车键"↵"有的地方可以 确定了,有的地方不能确认....安卓的"按键救星"就是虚拟键盘.或百度"jblend",找找有个安卓java模拟器全屏显示带虚拟键盘的..
贝刮进2333侠盗猎车手罪恶都市手机版怎么输秘籍? -
庞蚀枫17175121490 ______ 侠盗飞车罪恶都市手机版也是可以输入秘籍的,只是因为手机版没有键盘无法输入,但可以去下载手机上的虚拟键盘,可以用一款叫gamekeyboard的手机虚拟键盘.软件下载链接:http://www.jb51.net/softs/121855.html 软件介绍:游戏键盘 ...
贝刮进2333什么是触屏手机的虚拟键盘? -
庞蚀枫17175121490 ______ 就是虚拟的键盘 ...在屏幕上模拟出来的 、、 N97 N900 N8 5233 5235 5230 5800 5530 C6-00 C6-01 X6 X9 等等 、、、都有的 、 、