南科大最新缺点
克雷西 发自 凹非寺
量子位 | 公众号 QbitAI来自南方科技大学的这款视频分割模型，可以追踪视频中的任意事物。
不仅会“看”，还会“剪”，从视频中去掉个人，对它来说也是轻轻松松的事。
而操作上，你唯一需要做的就是点几下鼠标。
这位特效艺术家看到消息后仿佛找到了救星，直言这一产品将改变CGI行业的游戏规则。
这款模型叫做TAM（Track Anything Model），是不是和Meta的图像分割模型SAM名字很像？
的确，TAM就是将SAM扩展到了视频领域，点亮了动态物体追踪的技能树。
视频分割模型其实不是新技术了，但传统的分割模型并没有减轻人类的工作。
这些模型使用的训练数据全部需要人工标注，甚至在使用时还需要先用特定物体的遮罩参数进行初始化。
SAM的出现为解决这一问题提供了前提——至少初始化数据不再需要人工获取。
当然，TAM也并不是逐帧使用SAM再叠加，还需要构建对应的时空关系。
团队将SAM与名为XMem的记忆模块进行了集成。
只需要在第一帧中用SAM生成初始参数，XMem便可以指导接下来的追踪过程。
追踪的目标还可以是很多个，比如下面的清明上河图：
甚至场景发生改变，也不影响TAM的表现：
我们体验了一番发现，TAM采用了交互式用户界面，操作上十分简单友好。
硬实力方面，TAM的追踪效果的确也不错：
但是，消除功能在一些细节上的精确度还有待提高。
从SAM到TAM
前文已经提到，TAM是在SAM的基础之上结合记忆能力建立时空关联实现的。
具体而言，第一步是借助SAM的静态图像分割能力对模型进行初始化。
只需一次点击，SAM就能生成目标物体的初始化遮罩参数，代替了传统分割模型中的复杂初始化过程。
有了初始参数，团队就可以将它交给XMem，进行半人工干预训练，大大减少了人类工作量。
在这一过程中，会有一些人工预测结果被用于和XMem的输出进行比较。
实际过程中，随着时间的增长，得到准确的分割结果对XMem变得越来越困难。
当结果与预期差距过大时，将进入再分割环节，这一步还是由SAM完成。
经过SAM的再优化，大部分输出结果已比较准确，但还有一部分需要人工再调整。
TAM的训练过程大致就是这样，而开头提到的物体消除的技能是TAM与E2FGVI结合形成的。
E2FGVI本身也是一个视频元素消除工具，在TAM精准分割的加持下，其工作更加有的放矢。
为了测试TAM，团队使用了DAVIS-16和DAVIS-17数据集对其进行了评估。
直观感受还是很不错的，从数据上看也的确如此。
TAM虽然无需手工设置遮罩参数，但其J（区域相似度）和F（边界准确度）两项指标已十分接近手工模型。
甚至在DAVIS-2017数据集上的表现还略胜于其中的STM。
其他初始化方式中，SiamMask的表现根本无法和TAM相提并论；
另一种名为MiVOS方法虽然表现好于TAM，但毕竟已经进化了8轮……
团队简介
TAM来自南方科技大学视觉智能与感知（VIP）实验室。
该实验室研究方向包括文本-图像-声音多模型学习、多模型感知、强化学习和视觉缺陷检测等。
目前团队已发表论文30余篇，获得专利5项。
团队领导人是南方科技大学郑锋副教授，博士毕业于英国谢菲尔德大学，先后供职于中科院深研院、腾讯优图等机构，于2018年进入南科大，2021年晋升为副教授。
论文地址：
https://arxiv.org/abs/2304.11968GitHub页面：https://github.com/gaomingqi/Track-Anything参考链接：https://twitter.com/bilawalsidhu/status/1650710123399233536?s=20","gnid":"975dbdf7b604eb58d","img_data":[{"flag":2,"img":[{"desc":"","height":"360","s_url":"https://p0.ssl.img.360kuai.com/t013af54f9c33751a4a_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t013af54f9c33751a4a.gif","width":"640"},{"desc":"","height":"280","title":"","url":"https://p0.ssl.img.360kuai.com/t012b7a2d5616efa1dd.jpg","width":"1080"},{"desc":"","height":"198","s_url":"https://p0.ssl.img.360kuai.com/t0142b2bdf55a63605b_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t0142b2bdf55a63605b.gif","width":"471"},{"desc":"","height":"280","s_url":"https://p0.ssl.img.360kuai.com/t01042e023fb9eca1e8_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01042e023fb9eca1e8.gif","width":"556"},{"desc":"","height":"270","s_url":"https://p0.ssl.img.360kuai.com/t01139ce417c4c6beef_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01139ce417c4c6beef.gif","width":"480"},{"desc":"","height":"613","title":"","url":"https://p0.ssl.img.360kuai.com/t0180c0ca522eef493b.jpg","width":"1080"},{"desc":"","height":"320","s_url":"https://p0.ssl.img.360kuai.com/t01161dd9d4cf60554e_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01161dd9d4cf60554e.gif","width":"569"},{"desc":"","height":"648","title":"","url":"https://p0.ssl.img.360kuai.com/t011d65d829e318f7d4.jpg","width":"1048"},{"desc":"","height":"485","title":"","url":"https://p0.ssl.img.360kuai.com/t01bc40aed2a0912970.jpg","width":"1080"},{"desc":"","height":"488","title":"","url":"https://p0.ssl.img.360kuai.com/t015048ef8fc698c986.jpg","width":"1080"},{"desc":"","height":"358","title":"","url":"https://p0.ssl.img.360kuai.com/t01531e9495f03558c6.jpg","width":"1080"}]}],"original":0,"pat":"art_src_3,fts0,sts0","powerby":"hbase","pub_time":1683182400000,"pure":"","rawurl":"http://zm.news.so.com/6fb1768ad7420bfa949b6168a2eb11e4","redirect":0,"rptid":"353980ba606fa078","rss_ext":[],"s":"t","src":"量子位","tag":[{"clk":"ktechnology_1:南方科技大学","k":"南方科技大学","u":""}],"title":"南科大黑科技：一键消除视频人物，特效师的救星来了！
秋阙逸4044用挠脚心(并绑住)方法可以惩罚一个女孩吗,这是女孩的脚
杨颖海19742885019 ______ 可以哦 可以让她笑个不停,你说什么她都会答应你的 事后,她也不会生你气 最好是趁她睡觉事 你在网上搜一下就可以了 两个手也要绑起来,不要让她坐起来,躺着最好 怎样用绳子绑东西不易脱离
秋阙逸4044您拨叫的用户多次呼转什么意思
杨颖海19742885019 ______ 您拨叫的用户多次呼转意思是拨打电话那个号码已经是设置了转移呼叫,所谓转移就是她他本人的号码已经是转到别人号码上去了.呼叫转移是电信业一项传统通信业务,如果您的电话无法接听或您不愿接电话,可以将来电转移到其它电话号码上.呼叫前转业务的前提条件是被叫方B用户在移动网络中签约该业务,主叫方A用户呼叫被叫B的号码,被叫B在运营商处签约无条件前转到另一个号码C上.其效果是当A用户呼叫B时,网络根据签约信息进行判断,此时不是寻呼并接续呼叫到用户B,而是直接接续到C用户的号码,最终A和C号码进行双向的通话.
秋阙逸4044企业中的“法人代表”和“老板”有什么区别?
杨颖海19742885019 ______ 法人代表,是公司的法定的责任人,当出现法律纠纷时他要作为公司的代表去处理和承担公司的法律权利和义务,老板是公司的投资人.通常他自己就当法人代表,可是并不是所有的法人代表都是老板. 有的公司的老板为了逃避责任,就找其他人来做法人代表的. 你看这样解释行吗?
秋阙逸4044否认三连是什么
杨颖海19742885019 ______ 否认三连具体内容主要是“我不是,我没有,别瞎说啊!”,这个梗的意思其实是恶搞吐槽形式的,主要意思还是强烈否定朋友的吐槽,于是就衍生出了这个“否认三连”,目前在朋友圈,微博以及群里面传播的还是很快的,都是以表情包的形式出现.“表情包”是一个汉语词汇,指的是一种利用图片来表示感情的方式.表情包是在社交软件活跃之后,形成的一种流行文化,表情包流行于互联网上面,基本人人都会发表情包.在移动互联网时期,人们以时下流行的明星、语录、动漫、影视截图为素材,配上一系列相匹配的文字,用以表达特定的情感.
秋阙逸4044帝国时代2成吉思汗所有关的攻略 -
杨颖海19742885019 ______ 第一关 Crucible ( 严酷的考验 ) 任务 : 至少说服四个部族归于我们大汗麾下,草原上除了我们 ( 黄色 ) 还有六个部族,逐个游说, 发现除了 加拉凯台( 红色 ) 保持中立外,其余的都要讲条件才加入我们.乌依古尔人 ( 淡青色 ) 要求帮...
秋阙逸4044现在有多少只A股可以融券做空?
杨颖海19742885019 ______ 获得试点资格的券商共有26家,可融资融券的标的股票目前有90只,列出如下(未来将拓展到400只): 不过要注意的是,你所在的券商有这只股票你才可以融资融券. 沪市50只: 600000 浦发银行 600005 武钢股份 600015 华夏银行 600016 民生银行 600018 上港集团 600019 宝钢股份 600028 中国石化 600029 南方航空 600030 中信证券 600036 招商银行 600048 保利地产 600050 中国联通 600089 特
秋阙逸4044怎么计算电器的用电量比如一个1000W的电器,一个小时用电量是多
杨颖海19742885019 ______ 功率(瓦)*时间(小时)=瓦特小时.1度电=1000瓦特小时. 所以1000瓦电器工作1小时,耗电1度.
秋阙逸4044民主的含义是什么?
杨颖海19742885019 ______ 以多数人的意志为政权的基础, 承认全体公民自由、平等的统治形式 和国家形态.在现代社会中,民主是 一个含义很广的概念,常用以表示具 有平等、自由性质和特征的状态和现 象,如民主社会、民主政治等.而民 主即“人民当家作主”的思想已成为 现代社会普遍的价值观念,成为现代 文明国家的根本原则.多数国家在宪 法中规定“主权在民”、“一切权力属 于人民”等的原则,是人类文明发展 的重大标志.民主是一个历史范畴, 在不同的历史时期有不同的内容.民主作为国家制度是与专政相联系的, 两者互为条件,不可分割.民主总是 统治阶级的民主,而对被统治阶级而 言则是专政.只是在不同历史时期不 同类型的民主制度下,民主与专政的 统一具有不同的性质和情况而已.
秋阙逸4044压力控制阀有哪几种?
杨颖海19742885019 ______ 分为方向阀、压力阀和流量阀.方向控制阀是用来控制液压系统中流液的流动方向,以使执行元件按要求的动作进行工作.它主要有单向阀和换向阀两类.压力控制阀一般...
秋阙逸40448月初去泰国旅游,天气怎么样?????在天气预报上看,那边几乎天
杨颖海19742885019 ______ 是的,八月份也是雨季,我是大概八月十六号要去泰国玩~要注意带好雨具,然后穿的鞋子最好备一双防水的,然后以防万一也要做好防晒工作,嗯,另外酒店一般不提供洗漱用具,要自带,还有要带万能转换插头,因为也许插座会跟国内不一样,其它的话就要注意行人是左行~ 我还是挺期待的,泰国很多朋友去过都说好玩