黑科大完整版免费在线观看
克雷西 发自 凹非寺
量子位 | 公众号 QbitAI来自南方科技大学的这款视频分割模型，可以追踪视频中的任意事物。
不仅会“看”，还会“剪”，从视频中去掉个人，对它来说也是轻轻松松的事。
而操作上，你唯一需要做的就是点几下鼠标。
这位特效艺术家看到消息后仿佛找到了救星，直言这一产品将改变CGI行业的游戏规则。
这款模型叫做TAM（Track Anything Model），是不是和Meta的图像分割模型SAM名字很像？
的确，TAM就是将SAM扩展到了视频领域，点亮了动态物体追踪的技能树。
视频分割模型其实不是新技术了，但传统的分割模型并没有减轻人类的工作。
这些模型使用的训练数据全部需要人工标注，甚至在使用时还需要先用特定物体的遮罩参数进行初始化。
SAM的出现为解决这一问题提供了前提——至少初始化数据不再需要人工获取。
当然，TAM也并不是逐帧使用SAM再叠加，还需要构建对应的时空关系。
团队将SAM与名为XMem的记忆模块进行了集成。
只需要在第一帧中用SAM生成初始参数，XMem便可以指导接下来的追踪过程。
追踪的目标还可以是很多个，比如下面的清明上河图：
甚至场景发生改变，也不影响TAM的表现：
我们体验了一番发现，TAM采用了交互式用户界面，操作上十分简单友好。
硬实力方面，TAM的追踪效果的确也不错：
但是，消除功能在一些细节上的精确度还有待提高。
从SAM到TAM
前文已经提到，TAM是在SAM的基础之上结合记忆能力建立时空关联实现的。
具体而言，第一步是借助SAM的静态图像分割能力对模型进行初始化。
只需一次点击，SAM就能生成目标物体的初始化遮罩参数，代替了传统分割模型中的复杂初始化过程。
有了初始参数，团队就可以将它交给XMem，进行半人工干预训练，大大减少了人类工作量。
在这一过程中，会有一些人工预测结果被用于和XMem的输出进行比较。
实际过程中，随着时间的增长，得到准确的分割结果对XMem变得越来越困难。
当结果与预期差距过大时，将进入再分割环节，这一步还是由SAM完成。
经过SAM的再优化，大部分输出结果已比较准确，但还有一部分需要人工再调整。
TAM的训练过程大致就是这样，而开头提到的物体消除的技能是TAM与E2FGVI结合形成的。
E2FGVI本身也是一个视频元素消除工具，在TAM精准分割的加持下，其工作更加有的放矢。
为了测试TAM，团队使用了DAVIS-16和DAVIS-17数据集对其进行了评估。
直观感受还是很不错的，从数据上看也的确如此。
TAM虽然无需手工设置遮罩参数，但其J（区域相似度）和F（边界准确度）两项指标已十分接近手工模型。
甚至在DAVIS-2017数据集上的表现还略胜于其中的STM。
其他初始化方式中，SiamMask的表现根本无法和TAM相提并论；
另一种名为MiVOS方法虽然表现好于TAM，但毕竟已经进化了8轮……
团队简介
TAM来自南方科技大学视觉智能与感知（VIP）实验室。
该实验室研究方向包括文本-图像-声音多模型学习、多模型感知、强化学习和视觉缺陷检测等。
目前团队已发表论文30余篇，获得专利5项。
团队领导人是南方科技大学郑锋副教授，博士毕业于英国谢菲尔德大学，先后供职于中科院深研院、腾讯优图等机构，于2018年进入南科大，2021年晋升为副教授。
论文地址：
https://arxiv.org/abs/2304.11968GitHub页面：https://github.com/gaomingqi/Track-Anything参考链接：https://twitter.com/bilawalsidhu/status/1650710123399233536?s=20","gnid":"975dbdf7b604eb58d","img_data":[{"flag":2,"img":[{"desc":"","height":"360","s_url":"https://p0.ssl.img.360kuai.com/t013af54f9c33751a4a_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t013af54f9c33751a4a.gif","width":"640"},{"desc":"","height":"280","title":"","url":"https://p0.ssl.img.360kuai.com/t012b7a2d5616efa1dd.jpg","width":"1080"},{"desc":"","height":"198","s_url":"https://p0.ssl.img.360kuai.com/t0142b2bdf55a63605b_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t0142b2bdf55a63605b.gif","width":"471"},{"desc":"","height":"280","s_url":"https://p0.ssl.img.360kuai.com/t01042e023fb9eca1e8_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01042e023fb9eca1e8.gif","width":"556"},{"desc":"","height":"270","s_url":"https://p0.ssl.img.360kuai.com/t01139ce417c4c6beef_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01139ce417c4c6beef.gif","width":"480"},{"desc":"","height":"613","title":"","url":"https://p0.ssl.img.360kuai.com/t0180c0ca522eef493b.jpg","width":"1080"},{"desc":"","height":"320","s_url":"https://p0.ssl.img.360kuai.com/t01161dd9d4cf60554e_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01161dd9d4cf60554e.gif","width":"569"},{"desc":"","height":"648","title":"","url":"https://p0.ssl.img.360kuai.com/t011d65d829e318f7d4.jpg","width":"1048"},{"desc":"","height":"485","title":"","url":"https://p0.ssl.img.360kuai.com/t01bc40aed2a0912970.jpg","width":"1080"},{"desc":"","height":"488","title":"","url":"https://p0.ssl.img.360kuai.com/t015048ef8fc698c986.jpg","width":"1080"},{"desc":"","height":"358","title":"","url":"https://p0.ssl.img.360kuai.com/t01531e9495f03558c6.jpg","width":"1080"}]}],"original":0,"pat":"art_src_3,fts0,sts0","powerby":"hbase","pub_time":1683182400000,"pure":"","rawurl":"http://zm.news.so.com/6fb1768ad7420bfa949b6168a2eb11e4","redirect":0,"rptid":"353980ba606fa078","rss_ext":[],"s":"t","src":"量子位","tag":[{"clk":"ktechnology_1:南方科技大学","k":"南方科技大学","u":""}],"title":"南科大黑科技：一键消除视频人物，特效师的救星来了！
项阅豪3865请问图标是有一个蓝色的圆圈,里面有个白色的小写a的是什么杀毒软件?要钱吗?在哪里下载? -
宿砌胁18433445698 ______ 不需要那样的麻烦我来给你推荐几个吧: Avira AntiVir 完全免费版(英文版) 国内有一款红透半边天的英文免费杀毒软件,它就是大名鼎鼎的“小红伞”,它占用资源小,防御全面,检出率高的吓人.让占尽地利、人和的国产杀毒软件自叹不...
项阅豪3865铂金可以人工合成吗 -
宿砌胁18433445698 ______ 对于黄金来说,其影响因素和铂金完全不同.尽管黄金的珠宝需求远超过其制造业需求,但是珠宝需求并不能决定黄金的价格.原因就在于黄金这种特殊的金属,除了商品属性外还具备金融的属性.马克思说:“金银天然不是货币,而货币天然是金银.”此话恰如其分地阐明了黄金作为货币或者说一种恒定的支付手段的金融特性.这种特性使黄金即使退出了流通领域,也仍然是国家以及大型机构的重要储备和支付手段.黄金能抵御通胀的特殊金融属性使其在金融危机到来的时候迅速成为个人和机构的“避风港”.因此,在这次金融危机爆发之后,黄金并没有受到太大影响,其中“避险需求”增加就是主要的原因.
项阅豪3865黑龙江科技学院嵩山校区和东北石油大学秦皇岛分院哪个更好?
宿砌胁18433445698 ______ 很高兴为你解答,自我认为是东北石油大学好啊,黑龙江科技学院,二者不是一个档次的啊,再说现在的石油专业很吃香,论大学的势力当然是东北石油秦皇岛分校好啊,但如果专业方面得当的话,二者就可能一样了!自己决定吧…呵呵,加油,祝你好运!
项阅豪3865今天全服停机更新公告 -
宿砌胁18433445698 ______ 尊敬的用户: 我们将于2011年7月5日(周二) 9:00起对全服停机进行版本更新,预计停机时间将持续约3个小时.根据更新维护工作的进度,停机结束时间有可能提前或者延后,请各位玩家相互转告.为此给您带来的不便,我们深表歉意. 停...
项阅豪3865河南科技大学一个月生活费最低需要多少?
宿砌胁18433445698 ______ 是洛阳的学校吧? 我是洛阳本地的.如果在学校食堂吃250元就足够了.如果在外面吃.一天得10块钱.最高这个不好界定.上不封顶吧.你如果天天去牡丹城吃.几百万都能花掉