兴业银行信用卡中心数据总线建设与实践


2020-12-9 9:49

数据是新型生产要素,是新的石油,数据的地位和价值不断提升,对国家发展、企业数字化转型至关重要。兴业银行信用卡中心在业务应用、科技规划及系统建设过程中积极利用数据,通过数据为业务赋能,提升经营效率,推动信用卡业务数字化转型。

随着兴业银行信用卡中心数字化转型的持续推进,数据应用需求不断加大,数据交互成本也在加剧,如何更好地利用好内外部数据,在信息安全可控的前提下,规范有效合理进行内外部数据传输交换是实现数据应用的第一步。在此背景下,为了进一步提升信用卡中心数据交互的规范化、统一化,同时提升数据交换类系统对业务复杂性的支持能力,兴业银行信用卡中心从多个维度出发,对原有数据交换任务进行整合,建设了信用卡中心数据总线(“兴干线”),统一实现了内外部数据交换的第一道闸口。

系统整体架构

基于数据传输安全性要求的不同特点,整个总线分为内部数据总线和外部数据总线两个子系统,共同提供内外数据传输的出入口。目前总线上每日有2000多个数据传输任务,接入了外部200+机构,统一提供了数据订阅交换及安全认证等方面的服务。

1.内部数据总线

内部数据总线的定位是为兴业银行信用卡中心内部信息系统提供统一的数据交换服务。在内部数据总线的整体架构中,兴业银行信用卡中心引入、融合了多套组件和产品,实现了数据交换、数据加工、系统调度、平台监控等核心功能。系统技术架构如图1所示。

图1内部数据总线整体架构

(1)基本功能。数据交换包括传统每日批量数据交换与准实时数据交换。对于批量文件,利用调度工具对数据文件进行扫描,当检查到数据就绪后,则通知调度子系统进行后续处理;准实时数据则通过Flume组件配合Kafka,实现对文件或报文的数据采集工作。采集后的数据进入数据模型层进行存储和加工,并通过数据分发模块发送至消费系统。

(2)数据加工。内部数据总线引入大数据技术,利用Spark引擎对数据进行行列筛选、多表关联等轻量级的数据加工,从而高效地完成大规模的数据处理工作。对于批量的结构化数据,使用Spark SQL进行数据加工,对于时效性要求更高的准实时数据,则使用Spark Streaming进行流式计算。

(3)灵活任务调度。内部数据总线将对数据所做的操作封装为作业流的形式,通过调度引擎,对作业流进行统一管理。在逻辑上数据被分为多个层次,因此对于数据的各种操作可以看作是将数据在数据采集、数据加工和数据分发等不同层次进行移动。

(4)统一预警能力。为了加强对数据加工、数据交换的运行状况以及数据时效性的监控,提高对于异常情况的预警能力,监控子系统提供了对系统关键任务、上游数据到达、数据供应等多个方面的监控服务,并在触发告警条件时通过监控以及短信及时通知业务及系统关联方。

2.外部数据总线

外部数据总线的定位为兴业银行信用卡中心外部数据交互枢纽,承担了卡中心内外部手工数据、卡中心与外部合作单位间数据交换的统一渠道,实现了站点资源整合、数据安全传输、数据交换等核心功能,技术架构如图2所示。

图2 CFTM技术架构图

(1)统一外部数据出入口。站点资源整合指对信用卡中心现有的ftp站点进行统筹管理。将分散在各处的站点视为用户所需访问的资源,通过暴露统一的入口,并对用户进行安全认证以及资源访问权限控制,从而实现对分散在各处的站点进行统一管理,以及记录和跟踪数据传输过程等目标。

(2)多重数据安全控制。通过用户管理、密级文件登记、访问控制三个维度来保证数据文件的传输安全。其中,访问控制通过多因子安全认证登陆、以及权限管理实现对所有通过外部数据总线进行数据交换的用户或系统进行访问控制;权限管理遵循最小可用原则,赋予用户对站点资源的最小可访问权限;密级文件登记功能(即“阅后即焚”)指对所有从外部数据总线流入的数据文件进行密级级别登记。密级分为密级一、密级二、密级三、非密共四个密级,外部数据总线会对不同密级的文件进行传输控制,如:下载次数限制、保留时间控制等;用户管理指对所有在外部数据总线上注册的用户按照兴业银行信用卡中心的组织架构进行分类管理,并在此基础上按照权限级别以及用户职能划分为几种不同类型的用户,如:超管、部门管理员、行员、非行员、系统用户等。

(3)多样化数据传输模式。根据业务场景和外部机构的不同,系统支持多样化数据传输模式,支持手工类数据文件和系统类数据文件,按照数据文件获取方式分为主动和被动,主动和被动是针对用户来说的,其中主动指由用户自行去外部数据总线上获取数据文件、被动指外部数据总线会按照约定的策略从上游系统指定位置获取文件并推送至下游系统指定位置。

实践总结

1.统一数据传输标准

在系统建设的同时,兴业银行信用卡中心对信息系统数据卸载标准进行了统一。长期以来,内部各套信息系统之间数据卸载方式不一致,由一套系统产出的同一份数据并不能直接适用于所有消费系统,需要进行重复的数据开发与数据卸载,以满足各消费系统的数据加载需求,这极大地提高了数据交换的成本。同时由于数据卸载文件名称、格式等各方面缺乏规范限制,对数据的管理工作也遇到极大的阻碍。

基于以上情况,兴业银行信用卡中心设计了一套信息系统数据卸载标准,对信息系统卸数时的文件命名、文件格式等多方面进行规范,形成了“定长数据文件+标志文件”的基本卸数原则。定长是指数据文件采用固定长度文本格式,文件中字段长度固定为数据库中定义的字段长度。标志文件作为辅助文件,一方面作为数据传输完成的标志,另一方面用于保存数据大小、记录数、字段信息等数据信息,便于其他系统加载。通过统一数据卸载标准,供应系统产出数据可实现复用,而且由于数据格式统一,信息系统无需针对多种格式的数据开发数据卸载与加载功能。同时标志文件的引入保证了数据传输的可靠性与完整性。

2.开放自助式服务平台

数据总线提供了自助式数据订阅模式,在安全可控前提下,消费系统可通过自助服务平台,根据实际需求对字段、数据记录进行筛选,甚至进行多数据关联等操作。数据总线通过提供轻量级数据加工功能,减轻了上下游系统的数据处理压力,将数据交换粒度进一步细化,真正实现了作为数据总线系统的数据集成能力。同时释放了运维人员手工查询等操作工作量,降低日常运维成本,提升了关联系统数据异常发现和处理时效。

3.一站式资源访问

外部数据总线通过内部封装的支持高并发、可复用连接的客户端,去替代用户/系统访问兴业银行信用卡中心内部各类ftp公共站点。通过在用户/系统与公共站点间架设外部数据总线,提高了站点资源访问的便利性、数据传输的安全性以及可控性。

4.数据影响及血缘分析

数据总线对每个经过总线传输的数据进行了影响分析及血缘分析,对数据的来源及去向进行了梳理,以便关联系统对数据的流向及数据生命周期实现进一步掌握。根据关联系统的需求,可提供不同粒度的展现,最细的分析粒度可达字段级。

数字化转型浪潮下,数据的进出口尤为重要,安全标准的数据应用能力为大数据应用提供坚实后盾。展望未来,随着实时数据应用能力和数据接入范围的进一步扩大,将不断创新演化,助力兴业银行信用卡数字化进程。

(本文作者就职于兴业银行信用卡中心)

本文转载目的在于知识分享,版权归原作者和原刊所有。如有侵权,请及时联系我们删除。
评论加载中
相关文章

月点击排行
关于本站    联系我们    版权声明    手机版
Copyright © 2011-2022 移动支付网    粤ICP备11061396号    粤公网安备 44030602000994号
深圳市宇通互联信息技术有限公司    地址:深圳市宝安区新安街道28区宝安新一代信息技术产业园C座606