数据模型构建
《科创板日报》7月11日讯（编辑 宋子乔） 通过嵌入大语言模型，机器人变得更加智能，将视觉模型也堆上去，机器人会有怎样的提升呢？
\nAI科学家李飞飞带领的团队日前发布了具身智能最新成果：大模型接入机器人，把复杂指令转化成具体行动规划，人类可以很随意地用自然语言给机器人下达指令。更重要的是，通过将LLM（大语言模型）+VLM（视觉语言模型）结合在一起，机器人与环境进行交互的能力进一步提升，无需额外数据和训练便可完成任务。
\n
李飞飞团队将该系统命名为VoxPoser，相比传统方法需要进行额外的预训练，这个方法让机器人在零样本的前提下完成了，解决了机器人训练数据稀缺的问题。
\n李飞飞是华裔女科学家、世界顶尖的AI专家，现为美国斯坦福大学终身教授、斯坦福大学人工智能实验室主任，曾任谷歌副总裁和谷歌云首席科学家。前Open AI研究员、曾担任特斯拉人工智能和自动驾驶视觉总监的Andrej Karpathy便是其得意弟子。
\n李飞飞研究领域涉及计算机视觉、机器学习、深度学习、认知神经科学等，而近年来其关注的重点聚焦在AI智能体，即具身智能。在她看来，计算机视觉未来的重点方向就是具身智能，她认为，具身AI可能会给我们带来一次重大的转变，从识别图像等机器学习的简单能力，转变到学习如何通过多个步骤执行复杂的类人任务，如制作煎蛋卷。
\n▌不仅能听懂人话 还不需要额外数据和训练
\n回到VoxPoser，为什么说它是具身智能领域的一大突破？当然不是因为李飞飞本人的学术地位。
\nVoxPoser解决了机器人训练的一大难题——数据稀缺。
\nVoxPoser的研究工作中，通过将LLM（大语言模型）+VLM（视觉语言模型）结合在一起，可实现“人类自然语言输入——代码生成反馈给机器人——机器人收到指令并规划路径——最终完成任务”。
\n
这个流程的意义在于，机器人的交互能力大大提高，通过LLM+VLM拥有了眼睛和理解力，相当于拥有了人类一样学习能力，即从现实环境中收集数据实时学习，而不是依赖于提前录入的数据库“遇题找答案”。
\n李飞飞团队也表示，这些操作均不需要进行任何训练或使用基本操作，只要掌握了以上基本流程，就可以完成任何给定任务，实现了在真实世界中的零样本机器人操纵。
\n
在数据对机器学习的重要性和数据获得的难度上，李飞飞有着十足的话语权。她在2006主导构建的ImageNet数据集是世界首个用于计算机视觉算法的大规模人工标注照片数据集，它包含了超千万张有标签的图像，可以用来训练复杂的机器学习模型，被誉为改变人工智能历史的数据集。但这些数据的收集、处理工作异常艰巨，来自全球167个国家近5万名工作者以众包的方式花费三年时间才完成。
\n如何解决训练数据稀缺的难题，将成为具身智能乃至人工智能发展过程中的第一大拦路虎。
\n在2022年的论文中，李飞飞旗帜鲜明地表示，随着人工智能的成熟，人工智能模型的建立正变得越来越容易，包括亚马逊、谷歌和微软在内的公司都提供自动机器学习（AutoML）产品，允许用户在自己的数据上建立最先进的人工智能模型，而无需编写任何代码。但由于规划和注释的成本，为人工智能创建数据集仍然是一个主要的痛点，创建适当的数据集和数据管道以开发和评估AI模型越来越成为最大的挑战。
\nVoxPoser目前还存在着一定的局限性，它依赖于外部感知模块，仍需要为嵌入的大模型手动输入提示词，仍需要通用的动力学模型来完成更丰富的动作等。
\n不过，学术界、业界对此议论纷纷。一位前微软研究员评价，这项研究走在了人工智能系统最重要和最复杂的前沿。另有DeepMind研究员、人形机器人初创公司Figure创始人等为这项研报“点赞”。
\nVoxPoser项目已开辟官网，相关论文已上线，代码即将推出。当下李飞飞团队只是迈出了第一步。这一框架将有何改进、未来会怎样应用在机器人产品上，我们拭目以待。
","gnid":"9089cb5de6449a199","img_data":[{"flag":2,"img":[{"desc":"","height":"789","title":"","url":"https://p0.ssl.img.360kuai.com/t0143790a225479a293.jpg","width":"2742"},{"desc":"","height":"675","s_url":"https://p0.ssl.img.360kuai.com/t01fc2795066c8686e6_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01fc2795066c8686e6.gif","width":"900"},{"desc":"","height":"675","s_url":"https://p0.ssl.img.360kuai.com/t014435a40e0e41d663_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t014435a40e0e41d663.gif","width":"900"},{"desc":"","height":"675","s_url":"https://p0.ssl.img.360kuai.com/t019aea4d068f98aa7f_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t019aea4d068f98aa7f.gif","width":"900"},{"desc":"","height":"525","s_url":"https://p0.ssl.img.360kuai.com/t015a8d3ad527d71b1c_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t015a8d3ad527d71b1c.gif","width":"700"}]}],"original":0,"pat":"art_src_1,fts0,sts0","powerby":"hbase","pub_time":1689051149000,"pure":"","rawurl":"http://zm.news.so.com/c749e814a573318b99d96ae3bfde69dc","redirect":0,"rptid":"1cebabd5aaaa3034","rss_ext":[],"s":"t","src":"科创板日报","tag":[{"clk":"ktechnology_1:机器人","k":"机器人","u":""},{"clk":"ktechnology_1:人工智能","k":"人工智能","u":""},{"clk":"ktechnology_1:机器学习","k":"机器学习","u":""},{"clk":"ktechnology_1:科学家","k":"科学家","u":""}],"title":"数据稀缺阻碍具身智能进步？顶尖科学家抛出方案：“大模型+机器视觉”实现零样本操控机器人
戎牲怪2456如何实现逻辑数据模型 -
越穆宽15396421562 ______ 业务和系统开发领域绝对不能容许设计上的重大失误.可是,很多开发人员却因为不了解设计步骤而恰恰轻视乃至完全忽略了整个设计过程.而实际上,我们中的大多数人也确实缺乏必要的有关技能和知识,结果令我们往往“旁路”了项目开发...
戎牲怪2456GIS的几种主要数据模型 -
越穆宽15396421562 ______ 两种典型的GIS数据模型 1、拓扑关系数据模型 拓扑关系数据模型以拓扑关系为基础组织和存储各个几何要素,其特点是以点、线、面间的拓扑连接关系为中心,它们的坐标存贮具有依赖关系.该模型的主要优点是数据结构紧凑,拓扑关系明晰...
戎牲怪2456数学模型是用来描述一个系统或它的性质的数学形式.建立数学模型一般包括以下步骤: ①根据实验数据,用适当的数学形式对事物的性质进行表达; ②观... -
越穆宽15396421562 ______[选项] A. ①②③④ B. ②④①③ؤ C. ④①②③ D. ③①②④
戎牲怪2456如何构建校园的GIS模型? -
越穆宽15396421562 ______ 校园的GIS模型,具体你要搭建什么维度的模型?如果是二维GIS模型的话,那么就需要一些基础的学校相关的基础数据即可,比如说道路,建筑区,操场,食堂,等等,可以用ArcGIS软件完成 如果是搭建三维GIS模型的话,除了需要二维的一些基础数据,还需要使用三维软件如,3dmax,Autocad,等先制作三维模型,然后使用Arc GIS软件中的City engine,进行搭建
戎牲怪2456navicat怎样构建数据模型 -
越穆宽15396421562 ______ 1、建表:如下图所示2、选中表点击鼠标邮件选择“逆向表建模”
戎牲怪2456如何建立和评估数据仓库逻辑模型 -
越穆宽15396421562 ______ 逻辑模型指数据仓库数据的逻辑表现形式.从最终应用的功能和性能的角度来看,数据仓库的数据逻辑模型也许是整个项目最重要的方面,需要领域专家的参与.从内容上看,涉及的方面有确立主题域,粒度层次的划分,确定数据分割策略,...
戎牲怪2456如何建立数据挖掘过程模型 -
越穆宽15396421562 ______ 中心的重要参考.1.与数据挖掘的过程模型CRISP-DM中的要求相比较,目前,我们在数据中心建设过程中还存在一些问题,主要表现在以下几个方面 以需求分析代替了商业理解 在CRISP-DM过程模型中,“商业理解”的重点是根据商业目标的...
戎牲怪2456在数学教学中怎样建立数学模型 -
越穆宽15396421562 ______ 第一、 模型准备 首先要了解问题的实际背景,明确建模目的,搜集必需的各种信息,尽量弄清对象的特征.第二、 模型假设 根据对象的特征和建模目的,对问题进行必要的、合理的简化,用精确的语言作出假设,是建模至关重要的一步.如果对...