ITValue社区

国产主机数据平台迁移老大难?看大连银行如何挑战“自主”系统难题

作者:胡敏 / 日期:2016-05-31


从美国“棱镜门事件”之后银监会出于国家安全考虑,在2014年发布39号文,号召国内金融机构采用自主研发技术代替原本核心业务系统普遍采用的“IOE”(指IBM的小型机、Oracle数据库、EMC存储设备)架构,国内金融圈就掀起了核心业务系统的“自主”热潮。但更换核心业务系统并非易事,尤其核心数据平台的迁移,不仅复杂度和难度高,对于银行业务也影响巨大。到2016年时,国内也仅有中国邮政储蓄银行、新疆建行、洛阳银行等几家在银行关键应用系统采用国产主机系统。

近日,大连银行宣布上线基于自主系统的新一代基础数据平台,不仅将整体性能提高了2.5倍以上,成本还比原有的IOE架构降低了1/3,也大幅降低了后期数据系统的维护成本。至此大连银行成为继前3家银行之后在银行关键应用系统采用国产主机系统的又一个成功试点项目。

这无疑给国内重点金融机构和城商行在核心基础数据平台上引入国产主机系统起到了示范作用,大连银行是如何完成其数据平台的迁移的?

破解数据平台难题


大连银行是国内少数具有一定实力采用“IOE””架构的城商行之一。作为区域性银行,大连银行在城商行中已经率先建立了集中管理的业务架构、IT系统和数据平台。基础数据平台已完成32个上游业务系统的数据接入。随着大连银行总资产的逐步增长,不断推出“九钻完美贵宾卡”等创新金融业务,以及分行数量不断增多,大连银行原有系统架构的数据平台渐渐无法满足业务增长的需要。


原有数据平台的基础架构以共享存储方式搭建,一般适用于支付、结算等OLTP(On-Line Transaction Processing联机事务处理过程,也称为面向交易的处理过程,其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理,并在很短的时间内给出处理结果,是对用户操作快速响应的方式之一)交易型金融业务,对于管理分析、监管报送等数据类项目,当业务规模达到一定程度时,就会凸显出系统方面存在的瓶颈。

大连银行在数据处理方面,从晚上八九点到次日的凌晨4点半左右,不同系统分别将当天业务数据传送至基础数据平台,特别是重要核心、信贷、总账系统为基础数据平台预留的数据加工时间更是非常有限;如何在有限的时间内为下游系统提供更为及时准确的数据,已经成为基础数据平台所面临的最大考验。

抱着尝试和创新探索的想法,大连银行申报参与由银监会组织的863国产高端主机试点项目,用浪潮天梭K1替换IBM小机。运行一年左右,国产主机运行稳定。随着业务增长需要、跑批等管理需求,以及成本考虑,把传统关系型的甲骨文数据库替换成分布式数据库成为大连银行的现实选择。

业内同类项目普遍采用的一体机都比较封闭,后期扩容成本非常高。每年的维护成本是采购成本的22%。对于城商行来说,这是一个非常大的压力。在原有数据平台的共享存储架构之下,也无法通过横向扩展的方式增加系统处理性能。

随着大连银行基础数据平台数据容量的不断扩充,必须建立能够满足业务弹性扩张的分布式存储的数据架构。

当前流行的Hadoop技术,因为具有分布式架构的技术特点,又因其属于开源数据技术,所以受到越来越多客户的青睐。但是由于其技术的复杂性,对企业技术人员的要求比较高,需要投入很多人力去不停地调优和维护,而当前大多数城商行的科技人员配置相对短缺,没有那么多的人力成本投入维护工作当中,所以也不能很好的解决大连银行未来发展需要。

在对比各种方案利弊后,大连银行的新一代数据平台决定采用DB2 DPF分布式数据库技术替换原有的Oracle数据库产品。

系统迁移要过哪些坎?
大连银行最终选择“浪潮天梭K1+DB2 DPF”构建新一代基础数据平台,由文思海辉负责软件集成。这也是国产主机系统——浪潮天梭K1在城商行的第一个重点项目,因此三方成立了专门的实施团队(包括项目经理、硬件工程师、数据库工程师和应用迁移工程师)共同配合实施“迁移工程”。

新旧系统迁移的过程,主要分为评估、计划、验证、测试和上线五个阶段,其中的重点是数据迁移和应用改造,以及POC验证三大部分。

比如数据迁移方面,大连银行有两大疑虑:此前没有案例可以借鉴;从Oracle到DB2的跨平台、大数据量迁移,会不会丢失数据?会不会出现平台不一致,数据库无法相融的局面?

三方工程师根据两款数据库的差异,提出了三套解决方案进行验证,但测试成绩均不理想。在此过程中,大连银行完全按照迁移时间窗口的最大容忍度要求,制定迁移速率指标,即在12小时内完成1.5T数据量的迁移工作。

为达到这一目标,整个项目团利用了近一个月的时间,开发测试完毕最终的迁移工具。该工具采用标准OCI接口进行开发,支持自定义的并行度设置,从而满足迁移过程中的数据导出要求。


历时两年的探索和尝试,大连银行新一代基础数据平台运行稳定。大连银行基础数据平台的的近5TB数据顺利从原有架构迁移到新一代数据平台上,而实际修改的代码量不到总代码的1%。据浪潮实验室对原平台和新一代平台前后执行效率进行比较后发现,新平台比老系统执行效率有明显提升,特别是在整合处理包括文件加载的过程中,极限性能甚至超过原平台的九倍,整体性能提高了2.5倍以上。

比如在银行管理层比较关心的行内报表数据方面,以前往往需要花费10多个小时处理,以及于相关数据报表在第二天上午的上班时间仍然无法查看。而现在90%的报表在每天早上6点之前就加工完毕,其它复杂报表也在7点之前就完成,再也没有出现“上班之后领导看不到报表”的情况。

现在,客户在前台即可完成对公客户回单和账单的统一打印、支取和管理,实现客户自助打印回单,不仅提升效率和客户体验,也提高了客户满意度。让城商行最头疼的监管报送问题,如今也轻松化解。新一代数据平台不仅不会耽误监管报送的时间要求,也提高了报送效率。

特别是当业务规模扩展了之后,客户不必像过去那样,抛弃老系统采用重建方式,只需要在原有系统上进行一个扩展就可以满足未来业务的需求,从而加速了大连银行未来的业务创新。

“像尝过鲜一样,往后我们再做新的尝试的时候,可能会更积极一些,不至于瞻前顾后,因为至少我们做过了,不会太惧怕一些不成型的、创新的项目。”大连银行相关负责人总结道。下一步,大连银行也会更加深入推进数据仓库等重要内容在国产主机上的应用。

推荐阅读