首页 >>  正文

cassandra和hbase

来源:baiyundou.net   日期:2024-08-22

图片来源@视觉中国

国产替代的推进速度更快,程度更深,是当前银行业IT从业者的普遍感受。

多位业内人士向钛媒体APP表示,近两年来,银行核心系统尤其是数据库的国产化进程明显加速,从中小银行到国有大行大多已着手布局,交付案例不断落地。“从前金融机构往往有一种应付信创的心态,测试的大多是非核心系统,但近两年来越来越多的金融机构开始进行核心系统的数据库国产化升级。”一位业内人士表示。

数据库是信息系统的核心软件,以其技术门槛之高、研发周期之长、工程要求之高而被誉为“基础软件皇冠上的明珠”。尤其金融业对安全性、稳定性都有极高的要求,金融机构曾经清一色的IOE架构正在面临关键国产化升级。这其中,数据库作为数字底座,成为攻坚核心。

但从整体进度来看,目前银行核心系统数据库国产化才刚刚起步。

据金融信息化研究所2022年编撰的《金融业数据库供应链安全发展报告》显示,当前银行业办公系统与一般系统,国产数据库使用比例突破50%,但在核心系统使用比例仍在15%左右;而在证券和保险业,非核心系统国产数据库使用比例均低于30%,核心系统低于20%。

加速争夺市场

越来越多的行业“首个”案例密集涌现。

1月9日,富邦华一银行宣布成为“国内首家通过国产分布式云平台与分布式数据库实现核心系统上线的外资银行”。同在1月,杭州银行宣布“首个云原生、分布式、全栈国产化银行核心业务系统投产上线”。去年11月,东吴证券推出“行业首个全面自主创新核心交易系统。”其数据库由腾讯云TDSQL、PingCAP(TiDB)提供支撑。

更激烈的较量出现在对国有大行的竞争上。

比如,建行在2023年4月发布小机下移部分采购结果《国产数据库——小机下移竞争部分》公示:腾讯云、PingCAP、中兴通讯三家公司中标,总金额为3436万元。所谓小机下移,是指将数据库服务器从一个物理机器迁移到另一个物理机器。

此前,建行信用卡核心系统部分业务也已全栈信创平台上线,官方宣称采用以“鲲鹏服务器+麒麟操作系统+高斯数据库”的全栈信创方案。可见建行信用卡核心系统基于华为GaussDB建设。

工行则致力于打造“基于云计算+分布式技术打造开放平台核心银行系统”,其主要基于开源MySQL(MySQL是一个开源小型关联式数据库管理系统,开发者为瑞典公司)建设金融级分布式数据库,并试点了华为GaussDB和蚂蚁OceanBase等国产化分布式数据库。

农业银行在2023年成功投产了信用卡分布式核心系统(OVC),采用的是腾讯云数据库TDSQL,目前正推进个人负债、投资理财、信贷产品等核心应用建设。

中行的国产数据库建设中,核心业务系统如借记卡、信用卡、客户信息等使用腾讯云数据库TDSQL,此外还有与PingCAP(TiDB)和中兴通讯GoldenDB展开合作。

邮储银行在2022年全量上线了新一代个人业务核心系统,其选择的合作对象是源自华为的企业级开源数据库openGauss。

招行则在2023年宣布完成了借记卡账户、信用卡客户、对公账户以及总分行所有应用系统全部的“上云”,其选择的数据库合作方是华为云GaussDB。

总结可见,当前国有大行的核心系统国产化已经取得了显著成效,国产数据库的建设路径也各有差异,作为供给端的国产厂商也并未出现一家独大的垄断局面,竞争非常激烈。

墨天轮数据库大调查报告显示,OceanBase、阿里云PolarDB、华为云GaussDB、腾讯云TDSQL是银行业当前使用最多的四款数据库。有8.2%的银行业受访者表示,其所在企业正在使用其他国产数据库产品,这侧面反映了银行业当前部署的国产数据库产品种类十分丰富,市场竞争非常激烈。

上述其中一位厂商高管向钛媒体APP表示,“为了争夺市场,打造标杆案例,和国有大行的合作基本是不挣钱的。随着核心系统投产案例的积累,当前市场争夺的重点是广大中小银行、区域性银行。”他还提到,“近两年的竞争非常激烈,甚至有厂商开始采用一些非市场化的竞争手段来抢订单。” 

“换道超车”的国产厂商

数据库技术始于20世纪60年代,IBM公司于1968年开发出世界首个层次型数据库管理系统IMS,标志着大型商用数据库系统的诞生。到了70年代,关系型数据库逐渐成为主流,1975年SQL语言问世,随后IBM的DB2和Oracle等商业关系型数据库相继面世。进入90年代,开源数据库如MySQL和PostgreSQL开始出现。

随着互联网和云计算技术的发展,非结构化数据如影音、文档和流媒体的量级急剧上升,21世纪初期,NoSQL数据库应对挑战而生。这类数据库通常采用分布式架构,相较于关系型数据库在性能上有所提升,尽管牺牲了一些复杂查询功能。2009年,MongoDB的出现引领了NoSQL的浪潮,与此同时,Cassandra、HBase、ElasticSearch和Redis等非关系型数据库也相继涌现。

来源:艾瑞咨询

在国内,数据库厂商大致可分为传统厂商如达梦、人大金仓和南大通用,以及新兴厂商如PingCAP、巨杉数据库和星环科技。除此以外,云服务提供商如腾讯、阿里巴巴等以及ICT厂商中兴、浪潮和新华三也在提供数据库产品和服务。

传统数据库主要基于集中式架构,专注于交易相关的业务流程,而Oracle和IBM等厂商在这一领域已领先约20年,国产厂商面临挑战。相比之下,新兴数据库关注数据本身,利用分布式技术处理交易过程中产生的数据,解决数据采集、整理、聚合和应用等问题。在分布式数据库、云数据库和湖仓一体化架构等领域,国内外厂商基本处于同一起跑线。

总体来看,国产数据库已经形成不同的技术路线,有的推崇完全自主研发,有的则采用主流开源技术;有的强调原生分布式架构,有的则看好分布式核心,解耦、集中式数据库。

政策方面也是推动国产数据库厂商发展的重要因素。近年来,监管部门陆续发布多个文件,明确提出“提高新技术应用和自主可控能力”“加大数据中心基础设施弹性供给”等要求。

尤其在2022年9月底,国务院国资委下发了重要的《国资发79号文件》,文件中明确指出,自2023年1月起,每季度末向国资委报送信创系统替换进度。 最终要求2027年底前,实现所有中央企业的信息化系统安全可靠的信创替代。

尚未迎来真正拐点

虽然近年来国产数据库发展迅速,但从整体进度来看,目前银行核心系统数据库国产化才刚刚起步。就比例来看,多位业内人士及行业报告均指出,目前银行业核心系统中使用国产数据库的比例大致在10%-20%。

挑战之一在于,涉及到核心系统尤其是数据库的改造难度大,成本高。

一位城商行首席信息官告诉钛媒体APP,其银行去年完成了银行核心系统改造,整体改造难度非常大,“银行以前的系统非常成熟,包括设计流程、开发步骤、运维架构、监控方式都很成熟且有效果。但是新技术几乎把这些全部给颠覆了。同时新技术又要求研发、测试、运维和监控一定要跟上新技术的新要求,大大提高了难度。”

而数家国有大行在进行数据库国产升级时选择三家联合采购,部分原因正在于,当前改造数据库极大挑战了当前企业的技术前瞻、研发、实施、保障运维等多方面能力。

贵阳银行的案例更加典型,2019年初,贵阳银行与国产数据库厂商易鲸捷以单一来源方式签订价格为4398万元的核心业务沙箱测试系统项目。2020年10月,贵阳银行继续与易鲸捷签订订单,为核心业务系统国产数据库应用项目,金额接近4.27亿元。

但此后,这一创下国产数据库单一采购项目价格记录的合作陷入长期“假招标”、“假国产”争议。直至3年后,在2023年三季度业绩说明会上,贵阳银行高管表态“贵阳银行新核心业务系统目前已经完成的开发测试工作,系统进入上线准备阶段”。但并未点明是否为易鲸捷数据库。

此外,国内的数据库生态能力仍然不足,数百家数据库厂商同质化严重。华为云CEO张平安曾表示, “不是人人都要做数据库。大家没必要重复去造轮子。”中国工程院院士郑纬民近期公开表示,“当前国产数据库技术路线还很分散,产业未形成合力,数据库人才匮乏,难以满足当前高速发展的需求。”

一位数据库业内人士表示,“超过60%的国内数据库厂商不足100人,超过500人的企业不足10%。对于想摘取IT基础设施王冠的中国数据库企业,最大的企业的规模可能还不如某个哪怕二三流的国外数据库厂商的一个小研发部门的规模。”

在谈及行业拐点时,Oceanbase副总裁王爽曾表示,“目前在100多家资产超过1000亿元的城商行和农商行中,真正涉及到核心系统改造的不到10%,这说明他们还没有完全信赖国内数据库。但这个趋势是明确的,我相信未来每年至少有30%以上的用户都会把核心系统往国内数据库上升级,直到最后出现二八比例重置的时代。”

上述城商行首席信息官则表示,当前数据库国产化还刚刚起步,而观察是否到达行业拐点有两大视角,一是国有大行是否完成了业务的全量改造;二是改造完成后,能否保证在一年、五年乃至更长时间的稳定运行。(本文首发于钛媒体APP,作者|蔡鹏程,编辑|刘洋雪)

 更多宏观研究干货,请关注钛媒体国际智库公众号:

","gnid":"97ba960457a746d3f","img_data":[{"flag":2,"img":[]}],"original":0,"pat":"art_src_1,fts0,sts0","powerby":"pika","pub_time":1705286292000,"pure":"","rawurl":"http://zm.news.so.com/f51d6c4fbeb6a5ac44cff77316a7ea83","redirect":0,"rptid":"f298f01ceec19c96","rss_ext":[],"s":"t","src":"钛媒体APP","tag":[],"title":"国产数据库角逐金融市场:“订单战”如火如荼,行业拐点远未到来

潘饶会3675如何设置cassandra用户名和密码 -
喻委程17369778297 ______ 适应于cassandra2.0以上的版本1、首先修改配置文件 cassandra.yaml 把默认的authenticator: AllowAllAuthenticator运行所有人登录设置为用密码登录:authenticator: PasswordAuthenticator2、登录cassandra创建用户 使用默认账户登录...

潘饶会3675如何在Kettle4.2上面实现cassandra的输入与输出 -
喻委程17369778297 ______ 应该是Mysql数据库配置的问题吧,网上有对应的解放方法,如:解决方法:1. 改表法.可能是你的帐号不允许从远程登陆,只能在localhost.这个时候只要在localhost的那台电脑,登入mysql后,更改 "mysql" 数据库里的 "user" 表里的 ...

潘饶会3675Vertica 数据库与 Cassandra 相比有什么优势 -
喻委程17369778297 ______ 传统的数据库除了SQL语义外,还要保证transaction的ACID,而要同时满足高一致性和事务操作的要求是很难实现高可伸缩性的.因而才会有NoSQL的出现,它们牺牲了部分SQL和事务的语义、降低一致性要求,以实现高可伸缩性的系统....

潘饶会3675RethinkDB 和 mongodb 什么区别 -
喻委程17369778297 ______ rethinkdb和mongodb区别 rethinkdb是一个存储json的文档型数据库,查询方便,维护方便.nosql当前有2类产品,一类是面向开发人员的,像mongodb;一类是面向运维人员的,像cassandra.mongodb的特性是容易使用,数据类型丰富,但查询方便,缺点是部署和迁移、扩容比较难;cassandra的特性是容易部署,迁移,扩容,但数据类型不够丰富,查询有限.rethinkdb结合了2者的优点,比mongodb更容易部署,扩容,分布,比cassandra更容易开发,数据类型丰富,并且有专门的查询语言RESQL;对于不习惯命令行操作的人们,更提供了图形化web界面,哪里不会点一下,分片和复制直接点就行了:

潘饶会3675Cassandra我配置结束之后,用Cassandra - cli进去.然后不管输入什么命令都只反馈"...",怎么解决? -
喻委程17369778297 ______ 存在两个问题:1. 启动cassandra-cli 后面要带参数-h or 2. 执行命令...

潘饶会3675python3 连接 cassandra时,出现No module named 'cassandra.io.libevwrapper',该怎么弄?谢谢 -
喻委程17369778297 ______ 物信息、统计、网页制作、计算等多个领域都体现出了强大的功能.python和其他脚本语言如java、R、Perl 一样,都可以直接在命令行里运行脚本程序.工具/原料 python;CMD命令行;windows操作系统 方法/步骤1、首先下载安装python,建议...

潘饶会3675Cassandra数据库如何做模糊查询 -
喻委程17369778297 ______ where name like '张三%' 查询名字以张三开头的的记录

潘饶会3675cassandra用什么语言实现的 -
喻委程17369778297 ______ Cassandra 的名称来源于希腊神话,是特洛伊的一位悲剧性的女先知的名字,因此项目的Logo是一只放光的眼睛. 这个项目由就职于Facebook的Avinash Lakshman(也是Amazon Dynamo的作者之一)和Prashant Malik在为Facebook的Inbox编写.2008年,Facebook将项目开源,Cassandra在2009年成为了Apache软件基金会的Incubator项目,并在2010年2月走出孵化器,成为正式的基金会项目.目前这个项目主要由专门进行Cassandra商业化运作的DataStax公司来开发,也有一些来自其他公司或独立的开发者

潘饶会3675cassandra 怎么设置keyspace的 replication -
喻委程17369778297 ______ 象这样:update keyspace XXX with placement_strategy = 'org.apache.cassandra.locator.SimpleStrategy' and strategy_options = {replication_factor:3}; 其中的simpleStrategy是replication策略之一,replication_factor是这种策略下的备份数.当然,除了update之外,在创建keyspace的时候就可以指定策略.

潘饶会3675HDFS与Cassandra联系与区别 -
喻委程17369778297 ______ 为什么不参考datastax的企业版呢?它内置了cassandra和hadoop.http://www.datastax.com/what-we-offer/products-services/datastax-enterprise

(编辑:自媒体)
关于我们 | 客户服务 | 服务条款 | 联系我们 | 免责声明 | 网站地图 @ 白云都 2024