效率高旋转编码器
![](https://p0.ssl.img.360kuai.com/t01eca364e31a3a2c25.jpg)
作者 | 香草编辑 | 李水青
智东西2月3日报道,正值小年夜,一场主题为“当科技遇见戏曲之美-甲辰龙年小年夜戏曲焕新”的直播活动拉开了“中国戏曲文化数字焕新行动”的序幕。该直播由文化和旅游部艺术发展中心联合腾讯共同发起,围绕词韵之美、程式之美、影像之美和焕新之美四个篇章,创新演绎了京剧、越剧、昆曲、川剧等剧种的经典唱段。
![](https://p0.ssl.img.360kuai.com/t0130555ad940b3d1a8.jpg)
▲戏曲演员现场表演(图源:腾讯)
除了现场表演外,直播还通过腾讯多媒体实验室的AI修复、6DoF等数字技术高清再现了近50部经典剧目,让观众“零距离”体验戏曲的“唱念做打”,在一招一式中沉浸式感受中国传统文化的魅力,共吸引超700万名线上观众。
在直播之前,智东西及少数媒体与戏曲焕新项目的负责人进行了深入交流。
腾讯可持续社会价值事业部数字文化实验室负责人舒展告诉智东西,在戏曲等传统文化的传承中,面临的挑战一是许多经典曲目格式老旧,传播方式固化,难以引起年轻人的共鸣;其次,大量珍贵的戏曲影像资料以胶片形式留存,很多因保管不善已经残损;第三,传统的师傅带徒弟教学方式比较受限。
面对这些挑战,团队选择通过新兴的数字技术,从保护到传承,再到活化、利用,从各个维度来助力戏曲文化的传播。其中,团队基于腾讯多媒体实验室自研的AI影像修复技术,对经典戏曲剧目影像资料进行数字化的抢救、抢修,以保障珍贵艺作品得以流转;团队还聚焦重点剧种,建设戏曲数字资源库,启动程式录制工作,利用体积摄影录制专业戏曲演员经典程式,并以6DoF流媒体传输技术最终交互呈现。
一、AI修复残损影像,打造经典作品数字修复样板
老一辈艺术家的珍贵影像大多数上世纪五六十年代拍摄录制,多以胶片、磁带为存储介质,由于时间推移,已出现褪色、划痕、噪点等视听问题。
针对这些问题,腾讯多媒体实验室基于多年的多媒体通信和处理研发经验,利用AI影像修复技术对经典戏曲影像资料进行修复和呈现。据悉,此前面向老片修复场景还专门推出“超清沉浸感修复引擎”技术解决方案。
![](https://p0.ssl.img.360kuai.com/t01a79016fbbc9e5823.jpg)
▲修复前后的《花木兰》戏剧影像资料(图源:腾讯)
在修复的过程中,团队也不免遇到许多技术层面的难题。如影像资料时间跨度大、数据量少、灯光色彩复杂等,对算法带来一定的挑战。
腾讯多媒体实验室扩展媒体中心负责人、国际标准专家许晓中谈道,为了克服数据量少的困难,团队做了很多方面的尝试,如给定一个可以用作训练的数据内容,想办法充分挖掘其中的信息,包括对一些相关的片段进行各种组合,使它产生多样化的数据等方式。
据介绍,AI影像修复技术主要分为四大模块:智能分析、画质修复、画质增强以及智能编码。
智能分析指的是利用多种人工智能评估算法,对视频内容进行帧级别、场景级别和视频级别等多维度的分析,评估视频的运动和纹理复杂度、压缩失真程度等,得到不同维度的内容分析结果。
结合智能分析得到的信息,画质修复模块可针对老片中常见的竖线、雪花点、噪声、压缩失真、抖动等问题进行修复。其中“人脸修复”的步骤基于团队自研的人脸修复模型,利用人脸检测、人脸修复和融合模块,将图像修复迁移到视频过程中并加入帧间稳定性处理,解决了人脸检测稳定性。
在修复模块的基础上,画质增强模块将利用最佳视频增强算法,对画面进行多维度画质提升,包括在空间、时间上对视频的分辨率和帧率进行提升,在空域上提升细节清晰度、色彩丰富度等。
最后,根据视频分析以及预编码的结果,智能编码模块自适应调整视频输出码率以及各种编码参数,并结合ROI(感兴趣区域)编码、场景自适应编码,在减小输出视频文件大小、降低视频传输成本的同时,保证视频的主观质量不受影响,实现最佳的画面效果。
![](https://p0.ssl.img.360kuai.com/t01fc9bbfdd0a5e8491.jpg)
▲修复前后的《雁荡山》戏剧影像资料(图源:腾讯)
在这四个模块中,每个算法都由腾讯云多媒体实验室自研自发,实现了优质的划痕修复和“超分辨率”,在放大视频分辨率时明显提升细节清晰度,同时通过GAN(生成对抗网络)生成一些细节。
二、3D老师打破时空壁垒,传统戏曲“活”起来了
除了AI修复影像资料外,本次直播还有另一项引人注目的演示——6DoF视频,也叫体积视频。
6DoF是指6自由度视频技术,不同于传统平面视频只能看固定视角画面、VR360视频以用户为中心看360度场景,6DoF在360度基础上增加位移,用户可以在观看画面中自由行走,选择自己的视角进行观看。
对戏曲行业来说,基于6DoF技术录制专业戏曲演员的经典程式,能为戏曲教学、研究等呈现立体、多维的细节。在“抖水袖”和“卧鱼”视频中,6DoF技术展现了演员手腕转动、眼波流转等十分微小的动作和情绪。
![](https://p0.ssl.img.360kuai.com/t01cf2648fefcf269d6.gif)
▲6DoF视频演示“抖水袖”(图源:腾讯)
在技术层面,6DoF技术主要面临的难点包括数据量大、计算量大、下载时间长、无现成文件标准、终端应用受限等。
体积视频每一帧都是一个3D模型,数据量大带来传输困难,同时3D模型数据编码压缩、解码渲染计算量大,需要终端具有较好的性能进行播放渲染。不同于普通视频能够边下边播,传统体积视频文件需全部下载完成才能播放,下载耗时长。此外,体积视频没有现成的文件标准,无法使用现有的视频基础设施,在视频传输、播放等应用生态受限。
![](https://p0.ssl.img.360kuai.com/t0104f3f34517152cb9.gif)
▲6DoF视频演示“卧鱼”(图源:腾讯)
针对这些痛点,腾讯多媒体实验室6DoF视频技术解决方案分为三大模块。
首先是数据压缩。团队采用自研新一代3D mesh编解码器,在保持模型细节质量的前提下,大幅度减少模型表达所需要的面片数量,从而有效降低存储和传输动态高质量3D模型所需要的带宽,对比传统方案降低50%以上数据量。
针对Texture纹理数据,团队采用实验室自研编码器,分析纹理数据在时域和空间相关性,同时结合场景自适应编码,进一步提升压缩效率,减少数据量。整体实现多维数据25-50倍高压缩比,从根源上解决多维数据数据量大的问题。
其次是数据封装。针对现有体积视频文件无统一标准、需整体下载完才能播放等难点,实验室研发了mesh数据和纹理数据融合方案,采用流媒体格式标准,能够复用现有视频基础设施,实现渐进式文件加载,从而实现边下载边播放。
最后是播放渲染。在播放端,团队通过自研高效解码渲染算法,实现支持多模型、多材质和物理渲染,同时支持4K/8K超高清纹理图,满足对图形质量有更高要求的应用场景。在播放能力上,突破APP限制,实现轻量化网页端播放支持,同时实现包括手机、头显、PC等全终端播放支持。
结语:数字技术助力传统文化走向年轻观众
在采访过程中,中国艺术研究院戏曲研究所所长王馗屡次提到“年轻观众”。长期以来,戏曲界一直把争取年轻观众当作很重要的发展的目标。因为有了年轻的观众,一代代的传承才有真正生态的空间。
如今在数字技术的加持下,戏曲的生态空间远远超过了局限于具体的区域、地方的限制,变得更加的宽广。科技手段在戏曲的教育、传承、表演、推广等多个方面是起着非常重要的作用,介入到戏曲传承发展的各个节点。
未来,我们希望能看到更多新兴技术应用在戏曲及更多传统文化当中,并推动传统文化面向大众层面的创新传播,拉近其与当代年轻人的距离。
","gnid":"9f86ac00e76460426","img_data":[{"flag":2,"img":[{"desc":"","height":"383","title":"","url":"https://p0.ssl.img.360kuai.com/t01eca364e31a3a2c25.jpg","width":"900"},{"desc":"","height":"708","title":"","url":"https://p0.ssl.img.360kuai.com/t0130555ad940b3d1a8.jpg","width":"1000"},{"desc":"","height":"708","title":"","url":"https://p0.ssl.img.360kuai.com/t01a79016fbbc9e5823.jpg","width":"1000"},{"desc":"","height":"754","title":"","url":"https://p0.ssl.img.360kuai.com/t01fc9bbfdd0a5e8491.jpg","width":"1000"},{"desc":"","height":"335","s_url":"https://p0.ssl.img.360kuai.com/t01cf2648fefcf269d6_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01cf2648fefcf269d6.gif","width":"435"},{"desc":"","height":"335","s_url":"https://p0.ssl.img.360kuai.com/t0104f3f34517152cb9_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t0104f3f34517152cb9.gif","width":"435"}]}],"original":0,"pat":"art_src_3,fts0,sts0","powerby":"pika","pub_time":1707038280000,"pure":"","rawurl":"http://zm.news.so.com/f58639264b4bdc2ec2b7c0535635f6e0","redirect":0,"rptid":"2ed57ebbf9a815e0","rss_ext":[],"s":"t","src":"智东西","tag":[{"clk":"kculture_1:戏曲","k":"戏曲","u":""},{"clk":"kculture_1:科技","k":"科技","u":""}],"title":"当科技遇见戏曲之美:数字技术再现近50部经典剧目
隗屈逸4816广东哪家厂家生产的旋转编码器比较靠谱?
诸郎石13742314779 ______ 推荐一家还不错给你,佛山东硕仪表,我们公司跟他们合作好几年了,质量各方面都还挺不错的!
隗屈逸4816单片机开发板哪个好?最近找工作感觉自己专业课程没学好. -
诸郎石13742314779 ______ 这个不具体说哪个好了,吴鉴鹰单片机开发板资源介绍.详细的资源介绍1、一个CH340的USB转UART芯片,实现USB下载程序,为无串口的笔记本电脑提供下载方便.2、板子上电源入口有一个自恢复保险丝,可以有效的保护您的电脑主板和...
隗屈逸4816龙门起重机大车纠偏? -
诸郎石13742314779 ______ 起重机纠偏 大跨度龙门起重机的电气自动纠偏系统 大跨度大于40 m的龙门起重机(以下简称门机)在实际使用中由于众多因素的影响,如大车轨道高低和平行偏差造成运行阻力的不同,走轮直径的偏差,电动机转速的偏差,刚、柔...
隗屈逸4816脉冲相位是什么 -
诸郎石13742314779 ______ 脉冲相位是指周期脉冲的起点与某一时间参考点的时间差Δt与周期T的比. 以角度表示是:(360*Δt)/T
隗屈逸4816简述数控机床主轴电机上安装旋转编码器的目的 -
诸郎石13742314779 ______ 在数控机床上的主轴编码器一般由两种功能:速度反馈、位置反馈,一般数控机床都要进行螺纹加工,每转进给加工,就需要进给轴和主轴转速之间进行插补,因此就需要反馈速度...
隗屈逸4816联轴器有哪几种类型,其选用原则是什么 -
诸郎石13742314779 ______ 以下回答由联轴器制造商-上海松铭传动机械有限公司提供,欢迎选购 联轴器的类型与特点 联轴器类型 常用的精密联轴器有:弹性联轴器,膜片联轴器,波纹管联轴器,滑块联轴器,梅花联轴器,刚性联轴器. 联轴器特点 1、弹性联轴器 ...
隗屈逸4816DD马达与其它驱动方式的区别有哪些?
诸郎石13742314779 ______ 4、又由于采用直接连接方式,减少了由于机械结构产生的定位误差,使得工艺精度得以保证. 5、另对于部分凸轮轴控制方式,一方面减少了由于机械结构摩擦而产生尺寸方面的误差,另一方面也对安装,使用时的噪音等方面降低了很多. 6、高刚性,结构紧凑,使用效率高.DD马达的刚性很强,与负载结合后特性很硬.马达中空独特设计不但减轻了自身惯量,也给客户提供了更多的安装形式.组合后的机械结构会更加紧凑,使用效率比较其他方 式最高. 7、由于DD马达驱动器是数字化电子产品,实际应用中容易实现与PLC等控制器接口对接.而且实现分度动作只需要对驱动器编写相应的分度程序,外部只需要开关量控制马达的启动动作.
隗屈逸4816伺服电动机的轴编码器是有什么作用的
诸郎石13742314779 ______ 简单地说伺服电机的轴编码器是用来反馈伺服电机旋转的角度(位置)给伺服驱动器,伺服驱动器收到反馈信号后再来控制伺服电机旋转.形成闭环控制以达到精确控制伺服电机旋转的位置 ,速度. 伺服电机跟椐型号不同有增量型编码器和绝对编码器之分.
隗屈逸4816说明编码器74148的输入信号EI和输出信号GS.EO的作用
诸郎石13742314779 ______ 说明编码器74148的输入信号EI和输出信号GS.EO的作用 EI:Enable Input输入使能信号. 低电平有效 EO:Enable Output输出使能信号. 低电平有效 74LS148有8个外部中断源输入端 IRQ0-IRQ7,IRQ7的优先权最高,3个编码端A2-A0,一个编码群输出端GS,一个使能端/EI.当/EI为低电平时,只要任意一个输入端中有一个输入为低电平,GS端输出就为低,且在A2-A0输出一组相应的编码,当有多个输入端同时输入为低时,A2-A0输出优先权最高的中断源对应的编码,当IRQ7-IRQ0分别有中断请示时输出的编码分别为000,001,010,011,100,101,110和111. 请参考
隗屈逸4816拨码开关接线要怎么做
诸郎石13742314779 ______ 拨码开关接线,2条是脉冲输出线,1条是COM端线,1条是电源线.编码器的电源可以是外接电源,也可直接使用PLC的DC24V电源.电源“-”端要与编码器的COM端连接,“+”与编码器的电源端连接.编码器的COM端与PLC输入COM端连接,A、B两相脉冲输出线直接与PLC的输入端连接,连接时要注意PLC输入的响应时间.有的旋转编码器还有一条屏蔽线,使用时要将屏蔽线接地.