发布时间:2023-08-25 10:59
阅读次数: 次
分享到:
在金融业数字化浪潮以及自主可控核心系统信创改造背景下,银行业头部的六大行积极开展分布式核心系统的升级改造工程,依据金融科技布局完成核心系统的信创改造。本文基于公开信息整理六大行的分布式核心系统改造现状以及落地进展。
1、六大行分布式核心信创改造现状
在银行业数字化发展的浪潮以及金融信息系统自主可控的要求下,银行业金融科技的布局和发展也是突发猛进。作为金融行业头部的六大行也是积极自我变革,在分布式核心系统的改造升级中起到模范标杆作用。依托金融科技布局,大型银行基于分布式基础架构平台、分布式数据库、全面云化以及核心业务重构等多个方向加大科技投入,完成核心系统升级改造。下表是根据六大行年报整理的经营数据,在分布式系统建设过程中作为参考。
1.1 工行围绕ECOS实现分布式架构转型
工行于2015年开始启动智慧银行开放系统(ECOS)生态建设工程,实现从集中式向全分布式、从单一核心银行系统到去核心化系统、从传统银行服务到开放生态服务的转型。围绕ECOS工程建设目标,工行基于云计算+分布式技术打造开放平台核心银行系统,实施主机业务向“云+分布式”的开放架构转型。[1]
自研企业级云计算平台,建设了符合业务发展需要的金融级云平台,涵盖基础设施云IaaS、应用平台云PaaS、金融生态云SaaS等;
依托云计算平台搭建全栈分布式技术体系,建设形成分布式服务、分布式事务、分布式消息、分布式数据库、分布式缓存、分布式批量、分布式对象存储、分布式文件存储、软负载均衡九大关键技术组件,打造了可监控、可追溯、易定位、可隔离、可限流等高效运维能力,并通过分布式架构承载主要业务系统运行。
1)分布式核心建设
基于分布式技术体系和金融级云平台,工行提出“主机下移六步实施工艺”,按照应用模块分步实施主机下移,历时6年完成会计核算、客户信息、柜员管理、账户管理等核心基础业务下移和快捷支付、信用卡等重点产品下移平滑切换。在2020年,工行首次完成10亿级借记卡账户下移,实现大型银行主机系统转型的重大历史性突破。[2]
另外,随着业务需求和规模的发展,工行将传统的单一核心业务功能拆解出来,实现业务能力的去核心化,建成业务基础服务、核心账户体系、重点产品服务等体系完整的开放平台核心银行系统。[1]
2)分布式数据库建设
工行自2016年以来开始基于开源MySQL建设金融级分布式数据库,基本分三步走:
基于MySQL开源生态,完善MySQL研发和运维自动化系统;
数据库云化建设,MySQL上云提升资源使用率;
拓展技术路线,试点GaussDB和OceanBase等国产化分布式数据库。
从实际MySQL推广使用的情况来看,MySQL应用高达217个、实例数接近8000个,同时MySQL大规模云化部署,占比达90%以上。实施的应用涉及很多核心业务,包括个人账户、对公账户、基金以及很多A类、B类的应用,大多都是主机上迁移过来的。以客户信息为例,涉及6亿个人客户和1千多万对公客户,总记录数超过160亿,每日2亿次客户信息维护与查询,最高并发数7600TPS,平均交易耗时小于30毫秒,支持应用范围同业最广、日均访问数量同业最多的处理。
由于MySQL本身不支持分布式事务、CPL等缺陷,工行在国产分布式数据库领域也在积极探索。除了OceanBase官宣和工行2020年9月完成“对公理财系统“分布式改造,从主机下移、迁移到OB分布式架构(因为某些原因OB后续的推广没有下文了),还有包括华为GaussDB和工行进行Oracle转型的攻坚、GoldenDB数据库的测试试点等,分布式数据库的使用和推广还在进行中。
1.2 农行分布式核心系统转型
2017年起,农行开始启动核心系统分布式架构转型,按照“积极探索、搭建平台、步入深水”的规划路线,先后搭建起BoEing辅助查询平台、总控、运营、客户信息、产品合约、账务等分布式基础应用,构建了全行统一的客户视图、一体化运营体系、开放的产品合约和实时处理的账务体系,有效地承担了核心系统60%的交易量,为产品应用分布式架构转型积累了必要经验,提供了基础前提。2020年8月,首个分布式示范应用成功投产,标志着第二阶段攻坚任务“搭建平台”工作已顺利完成。[4]
2023年4月6日,农业银行信用卡分布式核心系统(OVC)顺利投产,实现亿级客户规模的数据迁移及流量切换,标志着农业银行第三代信用卡核心系统全面建成。农行信用卡的全量下移,标志着前期规划“步入深水”取得了阶段性胜利。
1)信用卡核心系统升级
农行以分布式核心系统建设为主线完善“1251”(一个技术底座、两条跑道、五大能力、一套治理体系)新技术体系,增强关键信息基础设施自主可控能力,全方位提升金融科技核心竞争力。
农行信用卡分布式核心系统率先进行了业务架构和技术架构“双升级”,业务上以“一中心、两架构、三体系”为基础开展业务架构升级;技术上从集中式架构转向分布式架构,以“一体化云平台+分布式数据库TDSQL”为支撑,采用分布式部署,涉及单元化涉及、分布式事务实现等关键技术。[5]
基础设施全面升级更换,由大型机转向开放平台分布式架构,实现系统高性能、高可用、易扩展,提升自主可控、横向扩缩容和容灾能力;
应用架构基于微服务转型,按照业务模块进行拆解,将业务功能分为多个微服务,实现应用架构解耦,提高了各应用的健壮性;
单元化多分片数据库架构,以客户为维度进行单元化切分,每个单元具备全量服务能力,并构建了“同城双活+异地灾备”的容灾体系,保证业务连续性;
布式事务解决方案:基于开源分布式事务框架Saga和TCC,满足数据强一致性的业务场景,提供事务一致性保证;
一体化运营能力:构建运维成熟度模型,并围绕分布式技术底座,构建分布式核心技术栈,提升分布式核心运维能力。
2)分布式数据库建设
农行分布式核心系统建设采用的数据库是TDSQL,根据腾讯云数据库官方发布的消息:
基于腾讯云数据库TDSQL的分布式核心数据库底座,中国农业银行已经投产客户信息和信用卡核心系统,有序推进个人负债、投资理财、公司业务、信贷产品等分布式核心产品应用建设,分布式实例规模业界领先。[6]
1.3 中行绿洲工程建设
为应对数字化金融的迅猛发展,中行于2020年启动企业级架构建设,命名为“绿洲工程”(OASIS),旨在形成支撑数字化转型的关键动能,实现对业务发展、产品创新、市场变化的敏捷反应。
“绿洲工程”是中国银行企业级架构建设工程的名称,英文名为OASIS,其含义是沙漠中的绿洲,希望的象征。O为OPEN开放,A为AGILITY敏捷,S为SMART智能,I为INNOVATION创新,第2个S为SOLUTIONS综合解决方案。[7]
伴随“绿洲工程”,中国银行重塑超大规模金融级分布式架构体系,自主研发的“鸿鹄”(分布式技术平台)、“瀚海”(移动端开放框架)、“星汉”(大数据开发框架)三大基础技术中台不断夯实、拓展,逐步发挥赋能业务、敏捷交付、稳健支撑的基石作用。
根据中国银行官网信息,2021年12月29日“绿洲工程”的企业级技术平台成功投产。企业级技术平台作为全行IT架构转型的重要实践,将成为支撑未来业务发展的技术基石。[8]
基于自建“云计算+分布式+自主可控”基础平台,建设分布式架构体系,可支撑10亿级别客户规模、10w+TPS业务处理能力;
在两地三中心架构基础上,实现四地多中心布局,支持分布式及集中式部署架构,支持同城双中心交易并行处理、异地分钟级整体切换,实现企业级组件“多地多活”;
单元化设计和部署架构,面向全业务进行单元化设计,以客户维度设计模型算法、划分“百库千表”,支持流量、单元、同城、异地四级切换;
软硬件全栈自主可控,部署信创单元并承载核心系统部分业务流量DevOps云平台(扶摇):以支持产品端到端敏捷交付为目标,通过开发、测试、投产、运维一体化实施,有效支撑异构产品的持续集成和自动部署;
智能运维平台(九天):构建“稳态+敏态”双态运维支撑能力,实现分钟级异构云资源弹性供给,支持全链路、深层次交易级监控预警。
1)分布式核心系统建设
2023年2月19日,中行“绿洲工程”实现个人借记卡、信用卡业务首批次成功投产,两大基础性金融服务正式以全新架构和升级功能在试点分行提供对客服务。7月2日,中国银行“绿洲工程”迎来又一次大规模投产上线。借记卡、信用卡两大个人金融业务完成全国推广,新一代自主可控的集团一体化反洗钱系统重构升级,标志着中国银行加快推动以企业级架构建设(“绿洲工程”)为核心的全面数字化转型再获新进展。
2)分布式数据库建设
中行国产数据库建设按照业务划分为分布式事务类数据库、HTAP类数据库、大数据类分析型数据库。核心业务系统如借记卡、信用卡、客户信息等使用国产分布式数据库TDSQL,HTAP类的则有TiDB和GoldenDB,也有一部分分布式事务使用GoldenDB作为试点。
1.4 建行基于多技术栈的核心系统建设
建行在2019年启动了基于多技术栈的银行核心系统建设工作,建设范围涵盖存款、贷款、借记卡、信用卡、客户信息等原本运行在大型机上的核心业务领域全量业务功能。[10]
为了全面推进多技术栈银行核心系统建设,建设银行提出涵盖应用层、平台层、基础设施层端到端的体系化解决方案。
基础设施层:通过云计算平台建立多元弹性的基础设施云服务,支持信创和非信创多平台技术管控,形成金融业自主可控的云计算解决方案。
平台层:搭建企业级分布式平台,基于研发统一框架,封装分布式、微服务、云原生等主流分布式基础技术,支持应用分布式改造迁移,构建支撑满足信息技术应用创新和应用自主可控要求的分布式平台。
应用层:对业务进行微服务改造,并支持单元化部署;采用开放与主机融合架构,支持渐进式切换,积极稳妥推进分布式架构转型。
另外,建行探索双机并行平滑迁移模式,构建全场景的验证系统,验证分布式银行核心系统处理逻辑的一致性、功能、性能及稳定性。[11]
1)分布式核心系统建设
建行在分布式核心系统建设过程中,采用“架构先行、平滑切换”的工程方法,先切换交易路径再按照分行迁移数据,同时探索多维度的增量渐进式的切换模式,按照分行或客户粒度进行切换,有效分解首次下移的风险。[10]
公开资料显示,截至2021年11月,境内外信用卡全量业务、境内外对公及对私客户信息全量业务、境内零售贷款全量业务迁移到分布式系统。12月,青海、宁夏两家分行业务(借记卡)迁移至分布式系统,正式对客提供服务,本次投产共迁移两家分行账户2450万。[11]
2)分布式数据库
根据公开资料,建行信用卡核心系统部分业务于2020年11月15日在全栈信创平台上线,采用以“鲲鹏服务器+麒麟操作系统+高斯数据库”的全栈信创方案[12]。因此可知,建行信用卡是基于GaussDB分布式数据库进行单元化建设的。
另外,据第三方机构信息显示,在建行新一代分布式核心系统建设工程中,GoldenDB数据库已经在其对私账务核心、个人零售贷款系统、代收代付系统中投产商用,运行稳定。对私账务核心系统已完成西北10家分行投产,个人零售贷款、代收代付已承载全国业务。[13]
1.5 交行“集中+分布式”转型
1)账务核心转型升级
交行基于服务客户、防范风险原则,深耕关键技术,积极推动信息技术架构从“集中式”向“集中+分布”转型升级。在核心业务系统下移过程中,以自研的分布式数据库Cbase为基础,采用“集中+分布”并存的技术路线,提升核心业务系统的横向扩展能力。2019年9月完成高频借记卡金融交易下移到分布式架构中,到2021年开放平台日常分流借记卡应用交易的50%,双十一占比达90%。[14]
在“底线思维、稳定生产、确保体验、重点先行、有序推进”的总体原则下,交通银行启动分布式数据库创新研制项目。以阿里Oceanbase 0.4版本为基础,自主建设分布式数据库(以下简称CBase)系统。Cbase数据库是一款以原生分布式数据库技术研发和应用实践为总体建设思路,面向商业银行交易处理特性,具有事务特性的关系型数据库系统。在应用实践中,最大程度地保护现有IT应用资产,降低架构转型的风险和成本。
2)贷记卡系统重构
交行贷记卡系统重构项目于2020年8月启动,底层采用国产的OceanBase数据库、阿里自研AliOS、SofaMQ、SofaStack,按照业务数据分片设计、应用系统单元化规划,满足高扩展性、高性能、高可用要求,具有多中心多活的运行设计能力。到2022年7月成功上线贷记卡分布式核心系统,完成首个国有大行信用卡分布式核心主机下移重构项目。[14]
采用国产分布式云平台部署,涵盖了技术平台Paas组件,采用先进的单元化、分布式、微服务架构,同时建立各种独立又互相协作的能力中心,可全面支撑业务的快速部署,满足高并发的客户交易需求,极大提升某国有大行信用卡业务运营和产品创新能力。
对接了国产分布式数据库OceanBase,极大地提升了数据处理效率和存储容量,满足了行内安全可控的信创要求。
采用多租户的应用设计,通过逻辑隔离和物理隔离相结合的方式,实现了数据的强隔离,有效控制数据库异常引起的影响半径。
部署架构采用两地三中心五副本模式,实现同城双活,保证数据高可用,提升系统容灾能力。
采用敏捷交付模式进行项目管理,通过Devops流水线实现快速迭代。
3)分布式数据库建设
交行除了自研的CBase数据库以及引入的OceanBase作为贷记卡核心,还积极开展开源及信创数据库研究测试,包括开源MySQL、TDSQL、OpenGauss的测试。在内部推广上,以Cbase为基础,适配国产芯片、操作系统,实现交行生态体系产品应用的使用。
1.6 邮储银行新一代核心系统建设
1)新一代核心系统建设
邮储银行在2019年初开始新一代金融核心的预研,建设路径采用业务和应用双驱动:一方面对业务模型梳理抽象,建立模型资产库,通过业务组件抽象化、模块化,按需快速重建;另一方面以分布式技术作为技术支撑,自动故障感知处置、分布式强一致、多中心多活等能力,支持云原生按需自适应弹性伸缩和单元扩展,满足客户数量和交易数量增长带来的海量交易。于2021年4月完成整体技术平台上线,2022年3月全量投产上线。[15]
邮储新核心系统采用分布式架构、单元化部署,通过水平拆分方式承载业务,采用了微服务、容器化、AI和DevOps等领先的IT技术,同时底层数据库采用分库的方式承担不同业务单元压力。每个业务单元按照标准化部署,采用相同的软硬件结构,未来当客户增加时,只需要复制新的“部署单元”,就可以简便、快速地进行系统资源的扩展,从而快速提升整体系统处理能力。[16]
2)分布式数据库建设
此前,邮储银行对PostgreSQL开源数据库有着丰富的使用经验,并且已经广泛应用于各个重要的业务系统。因此,在核心系统数据库选型的时候,邮储银行将目光转向了开源openGauss数据库。在选型测试的过程中,openGaus无论在x86还是鲲鹏上的性能对比MySQL和PostgreSQL均大幅领先,同时作为国产开源数据库,社区生态逐渐完善、供应链完整满足自主可控的要求。
2、总结
2022年9月底,国务院国资委下发了重要的【国资发79号文件】,文件中明确指出,自2023年1月起,每季度末向国资委报送信创系统替换进度。最终要求2027年底前,实现所有中央企业的信息化系统安全可靠的信创替代。无论是国家政策要求、十四五科技发展规划,还是数字化浪潮的自我革新,现在来看这几年六大行分布式核心系统的信创改造进展,很多已经落地生根,取得了显著成效,总结如下表:
从上文了解的信息中可以看出,有些大行采用云底座+分布式数据库的方式,比如中行、农行基于腾讯云底座+TDSQL、邮储基于开源数据库OpenGauss进行分布式核心系统建设;有些大行采用自研开源数据库+引入国产数据库的方式,比如工行基于开源MySQL建立生态体系、交行基于OceanBase自研的Cbase数据库;有些大行在主机下移策略上采取更为审慎的策略,渐进式分布切换投产,比如建行按照分行和客户维度、交行“集中+分布”并行架构等。总之,各大行根据自身的发展规划和科技布局,找到一条适合自己的分布式核心信创改造的路线,并推广到行内各个应用系统。
参考资料:
[1] 工商银行信息系统全分布式转型实践,中国金融电脑
[2] 全分布式 去核心化 开放生态——三重视角解读工商银行智慧银行生态建设工程(ECOS)
[3] 工行MySQL转型探索之路,2020 Gdevops全球敏捷运维峰会
[4] 农业银行:核心系统分布式架构转型实践,我们的开心
[5] 农业银行信用卡分布式核心系统建设实践,中国金融电脑
[6] 腾讯云TDSQL获评“2023年度可信云金融行业服务最佳实践”,腾讯云数据库
[7] 踔厉奋斗,笃行不怠,全面开启“数字中银+”新篇章,中国金融电脑
[8] 中国银行企业级技术平台成功投产,中国银行
[9] 中国银行“绿洲工程”建设再迎新进展 两大关键业务首批次成功投产,中国银行
[10] 基于多技术栈的银行核心系统建设,金融电子化
[11] IT架构赋能金融数字化转型——建行分布式架构实践与思考,金融电子化
[12] 金融信创70+典型案例详解之一,首席信创官
[13] GoldenDB助力2023全球数字经济大会数据库专题论坛
[14] 分布式数据库的探索与实践,交通银行
[15] 邮储银行分布式核心系统构建与落地之路,ITPUB
[16] 重构银行核心、驱动科技创新,DTCC 2022