农行全域数据快速入库创新及实践


2021-6-28 10:17

2021年3月11日,十三届全国人大四次会议表决通过了《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》,其中提到,要加快数字化发展,建设数字中国,充分发挥海量数据和丰富应用场景优势,促进数据技术和实体经济深度融合,赋能传统产业转型升级,壮大经济发展新引擎。数据成为一种新的战略资源,为现代化经济体系建设提供新的动力支撑。

数据战略落实到银行业就是加快推动互联网、大数据、人工智能和金融经济深度融合,进一步提升银行服务水平,增强管理层以及经营一线“用数据说话,凭数据决策”的能力,用数据助力企业发展、企业改革和企业创新。

为引领新赛道、制胜新局面,农业银行党委提出了“加速推进全行实施数字化转型、再造一个农业银行”的发展战略,高度重视全行数字化能力建设。近日,农行科技与产品管理局局长进一步提出“打通金融科技创新双循环,助推数字化转型”,“以‘技术+数据’体系为核心驱动,对业务服务、客户体验、产品创新、运营管理进行数字化重构”。坚持数据先行,夯实数据基础,丰富数据资产广度和深度是农行数字化转型现阶段的关键任务。

农行大数据入库现状分析

大数据平台作为农行数据底座,负责全行内外部数据统一入库、集中管理和企业级数据模型整合,为数据中台提供数据支撑。经过近年来的建设,大数据平台已具备处理海量数据入库和对外提供数据服务的能力。但由于行内不同系统之间存在天然的数据壁垒,缺乏统一规范的数据共享标准,导致海量数据难以快速引入大数据平台(简称“入库”),上层大数据应用常常面临“无数可用”或“有数难用”的困境,主要表现在以下三方面。

1.入库范围不够。传统数据入库为“需求驱动”,业务有用数需求时方提出入库需求,无法做到需求前瞻,导致入库范围不足。一是入库系统覆盖率(广度)需进一步提升。二是入库系统数据表的覆盖率(深度)较低。三是入库外部数据种类有限且具有领域局限性。

2.入库效能较低。内部数据方面,主要由大数据平台项目组进行手工入库开发,与数据提供方、数据消费方线上线下反复沟通确认,方可投产上线。这种入库方式自助化程度低、沟通成本高,人力瓶颈明显,每年入库不到1000张表,入库规模扩大困难。外部数据方面,主要通过采购或合作两种途径引入,各业务条线自行开发,缺乏统一的数据接入工具,存在竖井管理、冗余建设、数据分散、资源浪费等问题,引入周期长效率低。当前大数据平台数据入库效能难以满足业务发展对数据的迫切需求,往往需要“应用等数据”。

3.入库质量不高。缺乏明确的元数据采集标准和策略、入库数据前置验证缺失、后置验证不足等,导致大数据平台入库数据质量层次不齐、服务质量不高等问题,出现了“有数难用”的局面。

定机制建工具基础先行

在农行数字化转型的攻坚阶段,为了满足业务对数据的迫切需求,农行大数据团队创新机制流程、落地配套工具,双管齐下,打通大数据平台数据采集、数据整合、数据管理、数据服务全链路,为内外部数据快速入库奠定基础。

1.建立企业级入库协同与管控的机制。

确立“数据驱动”的数据入库原则,建立数据入库分包工作机制,在此基础上落实“抓存量控增量”的管控机制。“数据驱动”即以全量系统清单为参考,对所有业务系统全面梳理,以“应入尽入”的原则完成所有数据入库。数据入库分包工作机制对入库原则、入库角色、入库流程和要求等方面进行定义,明确入库相关方工作职责,确保入库各环节高效协同。抓存量,即推动源头系统项目组完成全部存量系统自助入库;控增量,即新增系统从需求层面落实数据常态化入库机制,确保重要数据资产“颗粒归仓”。

2.自主研制全域数据入库工具。

对数据入库各环节进行梳理,提炼标准化规范化步骤,自主研制内外部数据入库工具。

内部数据方面,建设自助入库平台,通过加强入库环节的自动化,降低入库门槛、提升入库效率,赋能源系统项目组,推动源头系统自助式入库,实现数据入库平民化。

外部数据方面,建设统一接入服务平台,以外部数据的元数据信息为核心抓手,实现开发流程配置化,通过定标准、落监测、摊成本,极大降低了各条线应用系统使用门槛,实现外部数据快速引入和便捷共享。质量管控方面,完成数据质量检测与管控工具原型及系统的研发,建成事前预防、事中监测、事后治理三位一体的数据质量闭环管控机制,事前制定数据标准,从源头贯标,事中落地监测规则,覆盖字典校验、关联校验等20余种监测类型,事后建立问题数据治理及跟踪机制,强化数据质量全局管控能力。

抓管理落实施有序推进

在数据入库总体思路指导下,2020年7月底正式启动了大数据平台数据入库“攻坚战”工作。各方周密组织,分三个阶段有序推进全域数据的快速入库。

第一阶段:制定方案,明确任务。2020年3-8月,科技部门同业务部门共同制定并发布大数据平台数据入库工作方案,对全量系统清单进行梳理,综合系统重要性、业务价值、需求急迫性等因素,建立评分模型,确定入库系统优先级,并组织专家评审入库清单,明确工作目标、考核标准和工作任务。

第二阶段:责任包干,限期完成。2020年9-12月,选择若干重要系统作为试点,完善工具、手册及机制流程。按照急用先行的原则,2020年底前完成高优先级系统数据入库工作。实施过程中,通过项目集的方式对入库进度进行统一管理,并组建入库支持团队,提供入库支持。

第三阶段:全面入库,完善制度。2021年,完成中低优先级系统数据入库,完成目标范围内所有待入库系统的入库实施工作。科技部门同业务部门组织建立新建系统数据常态化入库机制,通过在需求研制、架构评审、变更投产等环节把控确保新建系统数据及时入库,进一步完善数据入库的各项管理制度和流程。

在入库实施过程中,主要按照项目推动入库实施,共分为五个里程碑,如图所示。

促协同提效率成效显著

截至2020年12月底,数据入库“攻坚战”第一阶段告捷,成果显著。

1.业技创新协作,高效推动入库实施。将入库工作从大数据专职团队承担变革为企业级管理协同,由科技管理部门、业务管理部门统筹组织,各业务部门管控数据标准与质量,研发中心各部门负责辖内入库任务,实现业技创新协作,可为金融同业海量数据入库的组织实施提供借鉴。

2.入库工具助力,入库效率极大提升。内部数据整体入库实施能力较之前提升十余倍倍,2020年共计新增入库数据表万余张,全面扩充了内部数据的广度和深度,缓解“应用等数据”困境。外部数据单个接口开发周期从2个月缩短到20余天,完成工商、税务、运营商等外部数据的集中引入,数据范围覆盖全行客户,满足客户营销、信用管理等多个业务线用数需求。

3.全面质量检测,数据质量持续加强。业务条线登记千余项数据标准,落地约几十万条监测项,推动个人客户开卡等多个系统数据检查校验及源头数据治理;科技条线定期开展大数据平台数据空值、字典等技术校验,并按月披露跟踪、督办解决。多种手段齐头并进,形成了“监测-整改-跟踪-评价”的质量管控闭环,持续加强入库数据质量,有效解决“有数难用”的问题。

未来展望

大数据平台通过立机制建工具落实施实现了内外部数据的快速入库。未来,大数据平台将紧扣“一体化”和“自服务”两个关键词,围绕“采、建、管、用”四个关键环节,推进数据湖建设,向“湖仓一体”的架构进行演进,实现工具配置化、流程自动化、数据民主化,全面夯实企业级数据底座,为全行提供更丰富、更及时、更开放、更融合的数据服务。

作者:中国农业银行研发中心 李湘宜 李卓蓉 游黎

中国农业银行科技与产品管理局 袁芳

本文转载目的在于知识分享,版权归原作者和原刊所有。如有侵权,请及时联系我们删除。
评论加载中
相关文章

月点击排行
关于本站    联系我们    版权声明    手机版
Copyright © 2011-2022 移动支付网    粤ICP备11061396号    粤公网安备 44030602000994号
深圳市宇通互联信息技术有限公司    地址:深圳市宝安区新安街道28区宝安新一代信息技术产业园C座606