自动化运维工具ansible
前言
大家好,今天我们为大家推荐一套基于Ansible开发的,自动化部署及扩容openGauss的脚本工具:Ansible for openGauss(以下简称 AFO)。
通过AFO,我们只需简单修改一些配置文件,即可快速部署多种架构模式的openGauss,以及对已有架构进行自动化扩容。下面我们就请这套工具的贡献者,上海联空网络科技有限公司(以下简称“联空网络”)的李海滨,给大家讲解它的设计理念和优点。
开发背景
Hi,大家好,我是来自联空网络安全品质中心的运维工程师,李海滨。我是一名Ansible爱好者,致力于将运维工作自动化。曾获得 FISCO BCOS 区块链开源社区 2021 年度 MVP 称号。
联空网络成立于 2015 年 8 月,专注于提供医疗+互联网一站式技术和运营解决方案,帮助医疗用户更加轻松的拥抱互联网。目前,公司已经与 800+ 医疗机构用户形成合作关系,其中,百强医院合作 25+,三级医院 300+,上海地区客户覆盖率超 70%,覆盖全国 23 个省市。
当前自主创新、信息技术应用创新等需求日益增长,医疗行业用户十分关注软硬件产品解决方案的自主创新情况,为此联空网络积极响应,投入专业团队,对国内相关软硬件产品适配做可行性研判。
经过对国内数据库的深入了解,我们接触到了海量数据库,并获悉其是基于openGauss开源的商业发行版产品。openGauss作为一款开源的关系型数据库管理系统,具有高性能、高可用性以及卓越的扩展能力。于是我们开始构想可以为研发团队提供openGauss环境,让其可以基于openGauss做代码适配。当客户选择使用海量数据库时,我们的软件就可以直接匹配。
为了方便反复部署测试,我拿出了擅长的Ansible,为openGauss写一套自动化部署工具,以简化其安装、配置和管理过程。
完成初版开发后,我与openGauss社区取得了联系,表达了希望可以把这套工具贡献给社区,以开源回馈开源的想法。
感谢社区运营梅相如同学的大力支持,很快为我开设了代码仓库。又找来openGauss的开发工程师“行尘”同学,解答我在开发过程中遇到的一些问题。在此也很感谢“行尘”同学不厌其烦地回答,你们给予了我很大的帮助!
解决部署痛点
如果你有按照官方文档部署一套openGauss的经历,你会发现不论是单点还是集群,均需做不少的前期工作。例如要根据 CPU 和操作系统,下载对应版本的安装包。又需要根据不同的 Linux 操作系统,做一些额外配置。手工部署在这里不仅低效,而且容易有错漏。如果是多节点的部署,手工部署的弱势会被进一步放大。
我开发这套Ansible脚本的目标,就是尽可能地覆盖部署前、部署中和部署后的场景,并且把手工部署过程中遇到的一些坑,也通过自动化来解决掉。降低openGauss的部署门槛,推动openGauss的普及。
例如在openEuler 20.03 系统里部署openGauss 5.0,你会遇到readline-devel这个依赖包的版本是 8,而openGauss 5.0 需要的是 libreadline.so.7,导致安装过程失败。我查找到解决方法后,加入到部署流程中,自动帮大家把这个坑给填了。
在给未部署 CM 的架构做扩容时,需要在主备之间做一次 switchover 后才能安装 CM。这些我们也加入到自动化流程中,免除了大家遇到这些问题还要花时间查找解决方法的麻烦。
部署过程中,有需要在 root 和omm账号之间多次切换的操作,Ansible里用become_user就可以轻松自动切换。这些都是手工部署过程中的痛点。
已实现的功能
总结下来,目前我们这个工具能实现以下功能:
1.提供一个专属的ansible-docker子项目,只要控制机可运行docker,即可运行一个Ansible容器,适配 AFO 的执行。对于不熟悉Ansible的同学非常友好。
2.自动适配 CPU 架构(条件受限,目前仅测试了 X86 架构)和操作系统(已支持 CentOS 和openEuler 20.03),自动下载对应的openGauss安装包,自动对操作系统做适配修改。
3.实现从单节点到多节点的多种架构模式的一次性部署。
4.使用本工具部署的单点或集群,还能通过添加服务器,再次运行脚本,实现平滑扩容。实测可直接从单主扩容到 1 主 2 备 2 级联。
5.允许用户自定义一些变量,例如指定部署目录,指定openGauss版本(5.0 或以上),指定sysctl的参数配置。
6.免除手工部署中的问答环节,自动生成相关密码,自动填写。最后生成部署报告。
效率是如何提升的?
以配置网卡 MTU 为例,3 台服务器的执行时间如下:
Ansible在 0.517 秒的时间内,完成了 3 台服务器的网卡 MTU 修改。因为,它是并行操作的。
以生成 cluster_config.xml 为例
3 台服务器的节点,手工写 cluster_config.xml,需要花费多少时间,各位可以自己计时看看。
而我们利用Ansible的模板功能,可以在 1 秒内生成该文件,编排非常清晰,一目了然。
我们甚至考虑到了在机房里使用小尺寸显示器查看 cluster_config.xml 的场景,对 xml 做了换行处理,避免出现单行过长的问题。
自动化思路
AFO 主要的工作流如下:
1.对部署环境的信息进行采集。
2.将用户自定义的变量和脚本默认变量合并,优先使用自定义变量。
3.检查是否已部署openGauss,如无,进入初次部署流程。
4.如果已部署openGauss,则检查用户是否有添加新节点,进入节点扩容流程。
5.节点扩容流程里又分 2 步,先扩容备机节点,再扩容级联节点。因为级联节点只连接备机。
6.如果集群节点数量为 3 或以上,且未部署 CM,则进入 CM 部署流程。
7.最后,检查确认集群已正常运行,生成部署报告。
结果展示
以 3 台VirtualBox虚拟机为例,统一 8U+16GB 配置,都在 1 块物理 SATA 盘上读写。
另外,虚拟机都已经提前安装好相关依赖包,openGauss安装包也已经下载到本地。排除网络下载速度的不确定因素。
单节点,4 分 40 秒(下图右下角)完成部署。
1 主 1 备,7 分 48 秒(下图右下角)完成部署。
从单点数据库,扩容为 1 主 1 备 1 级联,耗时 23 分(下图右下角)完成部署。
扩容模式需要额外的流程,因此耗时比直接部署 3 节点的要多。
最后生成部署报告
项目代码
这套工具已经收录在openGauss社区的官方代码库,欢迎大家前往下载试用,并向我们多多提出宝贵意见。
代码地址:https://gitee.com/opengauss/ansible-for-opengauss
参与贡献
1.欢迎对Ansible熟悉的同学,加入我们,改进完善我们的项目。
2.更欢迎大家提交 issue,提出宝贵的意见和建议。
3.也欢迎可以提供测试资源的同学,与我联系。目前我们需要 ARM 平台的测试环境。
TODO
1.增加openGauss相关生态软件的自动化部署,例如图形化管理,监控管理。
2.增加 ARM 平台的适配。
3.增加数据库定时备份的配置流程。
4.增加对 1 主 1 备架构的主备自动切换配置。
5.有限度地提供gs_guc自动化配置,方便运维人员对数据库参数做修改更新。
6.更多的想法,由你们来补充。
","gnid":"9a936df65af6b7871","img_data":[{"flag":2,"img":[{"desc":"","height":"480","title":"","url":"https://p0.ssl.img.360kuai.com/t01fabeebc238d3b347.jpg","width":"776"},{"desc":"","height":"554","title":"","url":"https://p0.ssl.img.360kuai.com/t0131abeaa0e03cf677.jpg","width":"1080"},{"desc":"","height":"595","title":"","url":"https://p0.ssl.img.360kuai.com/t014f0ab8f0f3680437.jpg","width":"1080"},{"desc":"","height":989,"title":"","url":"https://p0.ssl.img.360kuai.com/t0168350a1faf517927.jpg","width":950},{"desc":"","height":"910","title":"","url":"https://p0.ssl.img.360kuai.com/t01b53163056f5da611.jpg","width":"835"}]}],"original":0,"pat":"art_src_0,fts0,sts0","powerby":"pika","pub_time":1700875898000,"pure":"","rawurl":"http://zm.news.so.com/ec617b6f488917b561155e5864914c3e","redirect":0,"rptid":"a02eac8948444d69","rss_ext":[],"s":"t","src":"openGaussMan","tag":[],"title":"自动化部署 扩容Ansible for openGauss
逯庭放1098自学Linux云计算能学好吗? -
阎恒都17196674010 ______ 作为云计算市场的后来者,腾讯云近期攻势猛烈,从面向企业的云服务,到面向用户的个人云市场全面发力,更将战火蔓延至海外市场.吸引了越来越多的人开始加入到学习linux云计算的行列,那对于没有基础的同学来讲,linux云计算好学吗?...
逯庭放1098自动化运维工具有哪些 -
阎恒都17196674010 ______ 一般涉及到的有,修改计算机名,加域,退域,一键激活,添加打印机,设置 IE等等
逯庭放1098ANSIB16.9和ASMEB16.9有区别吗 -
阎恒都17196674010 ______ 我理解是没有区别. ANSI是指美国应用标准体系,也代表着美国国家标准协会.ASME的意思是美国机械工程师协会,该组织是ANSI的五个发起单位之一,是属于ANSI的成员团体,其代表着美国国家标准委员会.ASME B16.9是由ASME提出并颁布的标准,该标准以被ANSI认可并推行,现在被全球90多个国家采用.
逯庭放1098什么是自动化运维? -
阎恒都17196674010 ______ 自动化运维就是把周期性、重复性、规律性的工作都交给工具去做,具体来说有应用系统维护自动化,巡检自动化和故障处理自动化这三个方面.目前有锐捷网络推出的RIIL Emotion自动化运维助手和其他助手,能够自动解决用户在IT管理中的日常运维问题
逯庭放1098法兰标准及等级 ANSIB 16.5 600LB 是什么意思 -
阎恒都17196674010 ______ ANSIB 16.5 600LB 美标 600磅压力
逯庭放1098有没有简单好用的自动化运维工具?最好是免费的! -
阎恒都17196674010 ______ RichAPM就可以.
逯庭放1098Python 在 Linux 系统运维中都有哪些应用 -
阎恒都17196674010 ______ 三大利器Fabric,Saltstack、Ansible.python运维工具fabric能自动登录其他服务器进行各种操作,这种实现使用shell是很难做到的,但是使用fabric实现就很简单.Saltstack是一种全新的基础设施管理方式,部署轻松,在几分钟内可运行起来,扩展...
逯庭放1098如何做好运维监控? -
阎恒都17196674010 ______ 监控的目的就是防患于未然.通过监控,运维人员能够及时了解到企业网络的运行状态.一旦出现安全隐患,可以及时预警或者是以其他方式通知运维人员,让运维监控人员有时间处理和解决,避免影响业务系统的正常使用,将一切问题的根源...