浙江农信:将数据以服务API等方式提供服务应用


2020-6-19 15:07

浙江农信依托数字化转型积极探索前沿技术,加快大数据、人工智能、云计算等技术应用布局,通过整合全域数据,统一标准、口径和加工模式,打造便捷共享的中台数据支撑体系;依托大数据平台建设,实现数据资源的快速处理和深度应用,逐渐将“数据”打造成为自身核心竞争力,金融科技对业务发展的支撑和服务能力得到跨越式发展。

数字经济是浙江的“一号工程”。近年来,随着科技的不断发展,数字经济逐渐成为经济社会可持续发展的新引擎。

面对这一趋势,浙江省农信联社在大数据平台建设的基础上,于2019年提出了以科技引领数字化转型的发展战略。一年多来,浙江农信依托数字化转型积极探索前沿技术,加快大数据、人工智能、云计算等技术应用布局,推动线上线下融合发展,金融科技对业务发展的支撑和服务能力得到跨越式发展。基于大数据平台,浙江农信已建成20个系统及场景应用,该平台正逐渐成为浙江农信金融科技名副其实的“智能核心”。

↑图为自大数据平台建设以来,平台规模逐年增长,集群数、服务器、数据量均呈现快速增长。

稳定、高效、包容的金融科技应用中台

浙江农信大数据平台整合全域数据,通过统一标准、口径和加工模式,打造便捷共享的中台数据支撑体系。利用封装复杂的大数据处理技术,将数据以服务API等方式提供服务应用,有效提升开发效率,降低开发难度,实现平台“三项”能力的有效提升。

海量存储的能力。为了更好地匹配应用系统数据需求的多样性,浙江农信大数据平台设计了准实时ODS数据集群和T+1数据集群两套集群,独立处理不同时效的数据,在ETL处理和存储能力上更加灵活高效。在存储尽量多明细数据的同时,提供历史数据查询。相较于传统平台,其扩容更加方便,成本也进一步压缩,既满足了新应用的海量数据需求,又为传统系统的历史迁移打好基础。如浙江农信历史交易数据庞大,基于传统数据库的存储性能及存储成本已无法满足要求,通过大数据技术,解决了数据处理的性能问题和海量数据的存储问题,并实现了数据查询的高效率。

处理复杂类型数据的能力。浙江农信大数据平台实现了支撑高并发下的非结构化数据处理、存储、检索。在此前提下,浙江农信搭建了冠字号系统、数字影像平台等系统应用,为非结构化数据提供了优异的存储和处理能力,保证了长时间、高并发业务下稳定可靠并快速的响应速度。如针对引入外部数据带来的数据结构格式不一、数据半结构化及非结构化等问题,浙江农信通过大数据平台解析处理外部数据,建立外部数据平台提供存储和查询的支持,向应用系统提供统一、标准的外部数据查询服务,满足业务部门个性化、定制化的外部数据使用需求。同时,通过一站式对接行外多渠道、多类型的数据,并进行统一维护管理,也解决了数据复用度低、标准不一致的问题,有效提升了外部数据使用的响应速度及能力。

又如浙江农信利用大数据平台的非结构化数据存储检索能力建立了数字影像平台,将原先散落分布在各个行社的影像数据进行集中存储,节省硬件成本的同时提升了数据的响应速度,结合人脸识别技术对异常客户进行快速反应,有效降低了冒充开户等欺诈风险。

全平台数据统一管理、高效运作的能力。大数据平台通过数据统一管理,为浙江农信提供了全面高效的数据资产管控环境,实现了数据的集中、统一和共享为后续各应用系统的开发建设提供了充分的数据支撑保障。如浙江农信利用Hadoop大数据平台的分布式存储、计算和分布式检索能力实现对新一代冠字号系统数据的快速处理和查询,实现了每10分钟更新一次数据的突破。又如实现对多类型数据的统一管理、分布式存储在线扩展、低延时数据处理、实时流式数据处理和提供科学的数据挖掘算法等技术能力,建立了统一的监控运维平台。该平台对各类型操作系统、服务器硬件、各类型数据库、各应用层服务、自定义监控实现统一监控,并与现有告警平台对接,实现告警事件的快速触发。

快速、强大、智能的数据分析处理能力

依托大数据平台建设,浙江农信在平台IO吞吐量、并行计算能力、快速数据处理、精准数据分析方面取得了积极进展,具备了进一步挖掘数据内含价值的能力。通过实现数据资源的快速处理和深度应用,逐渐将“数据”打造成为提升自身核心竞争力、实现可持续发展的重要动力。

强大的批处理能力。浙江农信利用大数据平台高效的数据处理能力和强大的并行计算能力,将原先传统数据仓库需要2-3小时的核心ODS批量任务工作时间缩减到半小时以内。而之前受数据量庞大等问题的困扰而迟迟无法落地的CRM2.0、大信贷查询系统等系统应用,在大数据平台的加持下都迎刃而解。如CRM2.0依托大数据平台强大的批处理能力解决了日终数据批处理效率低的问题,实现了海量数据在线实时筛选、准实时客户资金流入提醒、核销贷款客户及关联人资金流入提醒,有效提升客户经理精准营销和不良资产管理方面的效率。

灵活、智能的数据整合分析及风险控制能力。面向重点业务,浙江农信实施星型和雪花模型构建OLAP CUBE,实现交互式分析以及自动化的报表应用构建。同时,基于大数据平台开发管理会计自助分析系统、可视化报表系统等系统应用,实现图形化OLAP CUBE的设计以及实例化应用,并在维度管理、任务监控、CUBE生命周期管理、物化CUBE等方面,与Inceptor紧密结合实现加速查询。如借助大数据平台中的OLAP引擎开发数据自助分析平台,对数据多维分析过程中可能用到的度量进行预计算,将计算好的结果保存成CUBE,供BI工具在查询时直接访问。把高复杂度的聚合运算、多表连接等操作转换成对预计算结果的查询,使OLAP能提供快速查询和高并发等服务能力,解决了以往关系型数据库无法处理超大规模数据、难以水平扩展等问题。

同时,借助大数据实时流处理、智能决策引擎、设备指纹、机器学习建模等技术,已经构建起了一套基于大数据分析的风险管理系统和实时风险监控系统——实时交易反欺诈系统。该系统已接入丰收互联手机银行客户端、大信贷平台等多个系统,打造事前、事中、事后风险识别、分析和控制体系,正逐步实现覆盖全渠道及业务的交易行为风控。

↑图为通过准实时ODS构建的后续应用时效性大幅提高,如管理驾驶舱中准实时的存贷款数据、大额资金的流入流出,CRM中信息的变化准实时提醒到客户经理等各类场景。

准实时的数据支撑能力。浙江农信基于大数据的准实时ODS数据平台,实现柜面核心数据的高效获取,从而支撑各应用系统在大数据平台上进行实时数据分析,帮助行社经营管理层更及时地了解行社业绩情况。如利用分布式大数据技术构建出了一套全新的准实时ODS系统,成功将与核心系统的延迟时间由24小时降低到15分钟以内。通过高并发、低延迟的检索查询以及完善的对外访问接口,解决了数据使用者访问速度慢、决策数据时效性不足、客户营销精准性差等诸多问题。准实时ODS系统将原先的单机处理工具替换成为分布式处理工具,将关系型数据库替换为大数据Hadoop数据库,不仅大大提高了数据处理的速度,并且后续应用指标加工、数据集市的构建速度以及指标规模都上了新的台阶。基于准实时ODS,浙江农信已经在CRM客户关系系统、管理驾驶舱系统、智慧现金系统等系统的应用上取得了很好的效果。

本文转载目的在于知识分享,版权归原作者和原刊所有。如有侵权,请及时联系我们删除。
评论加载中
相关文章

月点击排行
关于本站    联系我们    版权声明    手机版
Copyright © 2011-2022 移动支付网    粤ICP备11061396号    粤公网安备 44030602000994号
深圳市宇通互联信息技术有限公司    地址:深圳市宝安区新安街道28区宝安新一代信息技术产业园C座606