首页 >>  正文

腾讯云平台官网入口

来源:baiyundou.net   日期:2024-08-22

智东西

作者 | ZeR0

编辑 | 漠影

智东西7月4日报道,今日下午,腾讯云发布AI原生(AI Native)向量数据库Tencent Cloud VectorDB。该数据库能够被广泛应用于大模型的训练、推理和知识库补充等场景,是国内首个从接入层、计算层、到存储层提供全生命周期AI化的向量数据库,将于8月正式登陆腾讯云。

向量数据库专门用于存储和查询向量数据。如果把大模型比作人的大脑,那么向量数据库就如同海马体,能够为大模型提供长期记忆。向量数据库可以突破时间和空间上的限制,助力企业广泛挖掘数据价值。据悉,腾讯云向量数据库最高支持10亿级向量检索规模,延迟控制在毫秒级,相比传统单机插件式数据库检索规模提升10倍,同时具备百万级每秒查询(QPS)的峰值能力。

一、腾讯云定义AI原生向量数据库,加速企业在大模型时代的AI化进程

腾讯云数据库副总经理罗云谈道,向量数据库是企业数据和大模型之间的桥梁,能够弥补大模型在时间和空间上的限制。

向量数据库能够解决大模型预训练成本高、没有“长期记忆”、知识更新不足、提示词工程复杂等问题,加速大模型落地行业场景。

企业拿到非结构化数据后,通过神经网络进行向量化,进而存储到向量数据库中,进行存储和查询,这样可以极大地提升效率和降低成本。

罗云认为,AI原生时代已经到来,“向量数据库+大模型+数据”,三者将产生“飞轮效应”,共同助力企业步入AI原生时代。

在AI原生时代,数据的使用范式如下图所示,比如处理大段PDF文件,会先经过文本分割,把文字分解成小段文字,然后计算层会将这些文字通过向量化(embedding)算法变成浮点数数组,再调用向量数据接口,将数据存放到存储层数据库。

用自然语言提出问题后,应用开发者后台会计算“问题”向量,进行基于向量的知识检索,找到最相关的20个片段,整理后推给一个大模型,让大模型帮它得出最终的答案。可以看到,客户的数据加工流程非常复杂,要解决分段、embedding、二次embedding等问题。

对此,腾讯云重新定义了AI原生的开发范式,提供了接入层、计算层、存储层的全面AI化解决方案,让用户在使用向量数据库的全生命周期都能应用到AI能力。

在接入层,腾讯云向量数据库支持自然语言文本的输入,同时采用“标量+向量”的查询方式,支持全内存索引,最高支持每秒百万的查询量(QPS)。

计算层在数据库内部提供分割、embedding、精排、聚合等AI计算的算子,简化客户使用数据的成本。AI原生开发范式可实现全量数据AI计算,一站式解决企业在搭建私域知识库时的文本切分、embedding等难题。

在存储层,腾讯云向量数据库支持数据智能存储分布,助力企业存储成本降低50%。腾讯云内部按照AI方式进行预训练,产生一些数据和算法,能够更好帮助客户动态构建索引。

腾讯云向量数据库有助于加速企业在大模型时代的AI化进程。

统计显示,将腾讯云向量数据库用于大模型预训练数据的分类、去重和清洗相比传统方式,可以实现10倍效率的提升。如果将向量数据库作为外部知识库用于模型推理,则可以将成本降低2-4个数量级。企业原先接入一个大模型需要花1个月左右时间,使用腾讯云向量数据库后,3天时间即可完成,极大降低了企业的接入成本。

二、多年存储引擎和AI算法积淀,助力数据接入效率提升10倍

上述成绩源自腾讯云多年积累的存储引擎和AI算法。此前腾讯云向量数据库的向量化能力曾多次获得权威机构认可,2021年曾登顶MS MARCO榜单第一、相关成果已发表于NLP顶会ACL。

腾讯云向量数据库基于腾讯集团每日处理千亿次检索的分布式向量数据库引擎Olama。该引擎已经广泛应用于大语言模型、推荐搜索广告系统、音视频和图片审核以及去重等领域。

Olama从2019年开始在PCG业务团队技术孵化,如今已面向腾讯全部业务,覆盖腾讯6个BG、接入腾讯视频、QQ浏览器、QQ音乐等30多款国民级产品,日均搜索请求超千亿,调用成功率达100%,搜索成功率达99.995%。

当前Olama能够支持的单索引行数达到10亿行,单实例QPS达100万,全网P99响应时延小于20ms。经过腾讯内部海量场景的实践,使用腾讯云向量数据库,数据接入AI的效率比传统方案提升10倍,运行稳定性高达99.99%。

腾讯云向量数据库能有效助力产品提升运营效率。使用腾讯云向量数据库后,QQ音乐人均听歌时长提升3.2%、腾讯视频有效曝光人均时长提升1.74%、QQ浏览器成本降低37.9%。

腾讯PCG大数据平台部搜索推荐Senior Tech Lead郑伟分享了腾讯内部应用腾讯云向量数据库的三个案例。

游戏知几是腾讯自研的游戏智能AI产品机玩家互动运营解决方案,应用在超过200款游戏上。它相当于是一个游戏智能客服应用,能够对玩家的个性化问题给出答案。

在游戏领域,可以先把所有游戏问题和答案建成标准问答库,然后通过深度学习技术把问答库变成一个个向量,存储到Olama引擎,当用户输入问题,也把这个问题变成向量,再将该向量存储到Olama引擎的数据库里做检索,检索后就可以得到标准的问题和答案,然后把标准问题做一层排序,将分数最高的问题推荐给用户。

第二个案例是QQ浏览器信息流推荐。这些推荐业务大量使用腾讯云数据库Olama引擎。用户在推荐系统里看到的新闻、视频,以及带推荐的物品推荐池,都输入到大模型层,大模型有三大类(DSSM模型、图数据库、序列模型),通过一个个序列大模型,将带推荐的物品推荐词变成一个个向量,放到Olama引擎里。当用户来到推荐系统,就可以根据用户过去看过哪些新闻和视频,将用户相关行为变成向量,到数据库进行检索,把检索结果合并,推荐出最终感兴趣的新闻和视频。

另一个案例是腾讯视频视频关系中台。Olama引擎能用在视频判重和音频判重。具体做法是把一个个视频库里的视频变成图片帧、音频抽出成音频帧,或者把音频通过转化成文本的方式,通过深度学习技术,变成音频向量和文本向量。当用户输入视频时,就能将视频向量、音频向量、文本向量进行召回聚合,然后输出结果,告诉用户视频的相似关系。

结语:助攻大模型普及,AI原生向量数据库将成企业数据处理标配

在大模型热潮的催化下,向量数据库进入飞速发展期。据东北证券预测,到2030年,全球向量数据库市场规模有望达到500亿美元,国内向量数据库市场规模有望超过600亿人民币。

向量数据库能够帮助企业更高效、便捷地使用大模型,将数据的价值释放到最大。随着大模型的不断发展和普及,AI原生向量数据库将成为企业数据处理的标配。而腾讯云向量数据库希望走在AI原生时代的前排。

","gnid":"96a2ac846a876c383","img_data":[{"flag":2,"img":[{"desc":"","height":"340","title":"","url":"https://p0.ssl.img.360kuai.com/t01e20f8feac78a8f4b.jpg","width":"800"},{"desc":"","height":"450","title":"","url":"https://p0.ssl.img.360kuai.com/t014b1411a4561a6964.jpg","width":"800"},{"desc":"","height":"447","title":"","url":"https://p0.ssl.img.360kuai.com/t01029f732a7bb07366.jpg","width":"800"},{"desc":"","height":"449","title":"","url":"https://p0.ssl.img.360kuai.com/t011a16e3272bfc4cbc.jpg","width":"800"},{"desc":"","height":"449","title":"","url":"https://p0.ssl.img.360kuai.com/t010c35206617d4cf49.jpg","width":"800"},{"desc":"","height":"449","title":"","url":"https://p0.ssl.img.360kuai.com/t0156f76eaa88fbd664.jpg","width":"800"},{"desc":"","height":"449","title":"","url":"https://p0.ssl.img.360kuai.com/t01397f8b5c167a2f84.jpg","width":"800"},{"desc":"","height":"449","title":"","url":"https://p0.ssl.img.360kuai.com/t011fee29f831eafaf5.jpg","width":"800"}]}],"original":0,"pat":"art_src_3,fts0,sts0","powerby":"cache","pub_time":1688461320000,"pure":"","rawurl":"http://zm.news.so.com/401953cdada26e4b4c54f71dc8be1371","redirect":0,"rptid":"8d990def2edd4ae7","rss_ext":[],"s":"t","src":"智东西","tag":[{"clk":"ktechnology_1:腾讯云","k":"腾讯云","u":""}],"title":"腾讯云发布AI原生向量数据库,提供10亿级向量检索能力,已支撑腾讯视频等业务

冯昨炊1767腾讯公司官方网站///////// -
童的骅13050262341 ______ 腾讯公司总部 【0755一33027985】(一线)、 腾讯公司总部 【0755一33027985】(二线林经理接听)、 腾讯公司成立于1998年11月,是目前中国最大的互联网综合服务提供商之一,也是中国服务用户 最多的互联网企业之一.成立十年多以...

冯昨炊1767腾讯的个人中心在哪里? -
童的骅13050262341 ______ 大家好,上述问题将由我为大家进行解答.以QQ 8.0.8版本为例,其个人中心是在: 1、首先点击屏幕底部的“动态”;  2、接着点击“好友动态”,进入动态页面; ᦙ...

冯昨炊1767阿里云服务器和腾讯云服务器哪家好 -
童的骅13050262341 ______ 推荐首选阿里云服务器,阿里云在市场占有率超过45%,是国内第一大云计算公司,且安全级别做的非常好. 阿里云有如下特点 1、开放性和共享性 YunOS是搭建一个规范、开放的平台,有统一的标准入口和统一的流量配置机制,共享支付体...

冯昨炊1767手机怎么登录腾讯网的
童的骅13050262341 ______ 多种登录3G手机腾讯网的步骤 1、使用已开通了GPRS的手机登陆手机腾讯网.方法是在手机浏览器中新建一个书签,命名为“手机腾讯网”,然后输入地址“ http://3g.qq.com”(大小写均可),保存书签.之后只要您点击这个书签即可进入手...

冯昨炊1767腾讯公司官方网站地址是什么
童的骅13050262341 ______ 你好是 www.qq.com 谢谢采纳

冯昨炊1767qq公司的官方网站是什么? -
童的骅13050262341 ______ 腾讯门户网站:http://www.qq.com 腾讯公司网站:http://www.tencent.com/

冯昨炊1767我可以使用腾讯云小微哪些服务? -
童的骅13050262341 ______ 小鸟云服务器niaoyun实例创建好之后,您可以使用以下任意一种方式登录服务器:远程桌面连接(microsoftterminalservicesclient,mstsc):采用这种方式登录,请确保实例能访问公网.如果在创建实例时没有购买带宽,则不能使用远程桌面连...

冯昨炊1767腾讯有哪些服务? -
童的骅13050262341 ______ 腾讯公司为广大用户提供了多种多样的服务,主要分为:软件类(http://im.qq.com),在这里,用户可以下载腾讯旗下的各种应用程序,比如QQ、TT、TM等等;游戏类(http://game.qq.com/index.shtml),在这里用户可以了理腾讯开发及代理...

冯昨炊1767怎么开通QQ业务? -
童的骅13050262341 ______ [QQ会员]:开通会员服务即可 [QQ空间]:开通QQ空间即可 [QQ红钻]:开通红钻服务即可 [QQ黄钻]:开通黄钻服务即可 [QQ蓝钻]:开通蓝钻服务即可 [Q堂紫钻]:开通紫钻服务即可 [音速紫钻]:开通紫钻服务即可 [QQ粉钻]:开通粉钻服务即可 ...

(编辑:自媒体)
关于我们 | 客户服务 | 服务条款 | 联系我们 | 免责声明 | 网站地图 @ 白云都 2024