支付聚焦数据治理,探索数字化升级“瀚海”
近日,中央发布《数字中国建设整体布局规划》,该规划指出,推动数字技术和实体经济深度融合,在农业、工业、金融、教育、医疗、交通、能源等重点领域,加快数字技术创新应用。
其中,加快提升数据资源规模和质量,有效释放数据要素价值,大幅增强数字经济发展质量效益的相关要求,使得各行各业更加关注数据治理。
对于支付行业来说,由于服务千行百业,拥有着丰富的数据资源。但是除支付巨头以外,大部分的支付企业数据治理能力仍然较弱,数据要素价值难释放。随着数字化转型浪潮席卷整个行业,如何完善自身数据治理体系成为了许多支付企业的头等大事。
数据资产正在受到重视
整个支付行业都意识到了数字化转型的重要性。
近期,中国支付清算协会对165家支付机构数字化转型状态进行调研,并将相关情况形成报告。数据显示,近9成的支付机构正在数字化转型的路上,或早或晚。
支付的未来在数字化升级,而数字化升级的必经之路在数据治理。
该报告还指出,23%的支付机构已制定明确的数据规划和发展战略,57.6%的支付机构正在计划根据自身情况,建立个性化的数据规划和发展战略。
近8成的支付机构已经意识到数据治理的重要性。银联商务在2021年便提出“三个银商”战略定位,将数据治理视为其数字化转型的基础。
而且数据治理不仅仅是为自身企业服务,更可以反哺社会,实现更多社会价值。
平安壹钱包CTO吴鹏越表示,作为一家拥有庞大用户数据、重视数字化建设的支付企业,我们始终在思考和探索如何在保护个人信息安全、保护消费者权益、坚持支付行业严监管的前提下,更好地运用这笔数据财富,让它产生业务价值来反哺社会,我们通过数据治理这个管理手段来对企业全域数据资产实施有效管理,激活与释放数据要素价值,让数据成为数字化发展的核心生产力。
诸多支付机构重视数据治理的重要性,背后还有政策的引导和支持。
2020年4月,中央发布《中共中央国务院关于构建更加完善的要素市场化配置体制机制的意见》,数据作为一种新型生产要素写入文件中,与土地、劳动力、资本、技术等传统要素并列为要素之一。这将数据的重要性提升到了新的高度。
此外,国家十四五规划和2035年远景目标纲要,都指出要“加快数字化发展,建设数字中国”,在加快数字化建设的同时,“三法一条例”(《网络安全法》《数据安全法》《个人信息保护法》《关键信息基础设施安全保护条例》)的落地,构建了我国数据治理的基本制度框架。
近期发布的“数据二十条”更是明确了,通过数据治理等方式,促进形成与数字生产力相适应的新型生产关系。
重视数据治理,并形成数据资产,进而转化成生产力成为了各行各业数字化升级的具体目标。
近两年,支付行业也正经历着激烈的变革,各类政策、市场因素导致的“薄利化”趋势已经在产业中达成普遍共识。
面对困境,支付行业的主流突围方向包括为企业提供降本增效服务、为金融机构提供账户促活服务、金融及非金的个性化营销、商户SaaS数字化服务等。
而这些业务,都需要数据来驱动,然而做好数据治理并没那么容易。
数据治理的难与痛
作为可以与用户、商家、企业等不同角色接触的基础服务行业,支付可以接触到各种各样的数据。
单个数据所能表达的含义有限,但数据与数据之间一旦形成联系,就可以看到背后的因与果、供与求、输入与输出、措施和效果。然而怎么分辨哪些数据有价值,有怎样的价值,如何发现数据之间的联系,是支付企业进行数据治理所面临的普遍问题。
而具体来看,主要是三大难题。
首先,数据质量不高。俗话说“巧妇难为无米之炊”,但做出一道美食也需要质量高的食材。数据质量不高,是数据治理这道“美食”遇到较为严重的问题之一。由于缺乏数据顶层治理体系、数据采集标准缺乏、数据源错误或陈旧、数据模型不准确等等问题,使得企业数据的全生命周期质量不高,也就难以形成有效的数据资产。
其次,数据安全体系不完善。虽然目前拥有数据安全“三法一条例”的基础法制架构支撑,但到具体的数据治理业务当中,数据安全问题仍然突出。横向,数据安全需要从收集开始,贯穿数据的全生命周期;纵向,企业需要根据数据的安全风险程度,设置不同的安全等级,亦或者根据不同的业务类型及公司经营核心数据,进行分类分级管控。
最后,缺乏数据治理制度规范的制定和有效落地。无规矩不成方圆,在数据治理过程中,企业需要制定完善的制度、标准、规范。如企业成立专门的数据治理部门,以打通各个部门之间的数据壁垒。例如在主数据、元数据、数据标准、数据质量、数据模型、数据交互等等方面制定相应制度并建立流程规范进行指导落地。。
自2021年开始,人民银行对违规收集使用个人金融信息问题高度重视,银保监会也曾督促银行严肃追责问责,深挖数据质量违规问题背后的治理不完善、机制不健全等根源性问题。
可以说,在未来很长的一段时间内,银行和支付机构的数据治理能力都面临不小的市场和监管压力。
纵观整个支付行业,虽大多数企业已经意识到数据治理的重要性,但能够做到较为完善的企业并不多。近期,平安壹钱包对外发布了其大数据一体化平台“瀚海”,并在去年底中国支付清算协会举办的金融服务数字化转型技术交流会议上分享。“瀚海”大数据一体化的数据治理体系对全行业有一定的借鉴意义。
自上而下的数据治理体系
作为中国平安旗下专注于支付、账户、积分领域提供数字化解决方案的公司,平安壹钱包拥有庞大的用户数据基础,在拥有更为广阔的数据治理想象空间的同时,也肩负着更大的社会责任。
据了解,平安壹钱包“瀚海”大数据一体化平台在以下三方面完善数据治理体系:
组织打通。作为一个拥有亿级用户数,业务覆盖电子钱包、综合支付解决方案、金融科技输出等多类业务的大型支付企业,平安壹钱包专门组建数据管理委员会推动数据治理工作。
据了解,平安壹钱包数据管理委员会由高层领导组成决策层,数据、安全、法律合规等部门为秘书,辅以各业务中心为代表,打造了大数据一体系化平台,建设数据治理标准体系,共同推动数据管理治理工作的有效落地。
平安壹钱包数据管理委员会采用业务、科技双线联席制,共同决策、落实工作,建立业务负责制的数据管理责任体系,助推数字化经营战略。在数据管理委员会的运转下,平安壹钱包实现保障企业数据采集、存储、计算和使用过程的安全、可控、可追溯,及对数据资产进行精细化运营,盘活整条数据链路,实现资产的最大化价值。
产品逻辑重构。平安壹钱包的数据治理贯穿整个“业务数据资产化,孵化资产类产品实现数据服务化”的数据生产力过程,以数据为核心驱动力,重构前端产品运营逻辑。
平安壹钱包数据治理框架
“整套数据治理体系的难点在于需要保障数据采集、处理、存储、使用与对外提供服务合法合规的同时,发挥数据这一生产力要素而沉淀出有效的数据资产及产品来让数据真正产生业务价值。为此,我们贯彻数据开发治理一体化的理念,基于数据全生命周期及数据分类分级管理、数据加解密管理、数据安全合规管理等多个维度,来推进治理工作落地。”平安壹钱包数据治理委员会数据研发中心负责人傅群慧介绍道。
平安壹钱包的平台系统架构,通过基础平台实现业务的数据化,目前正从Hive离线数仓及Kafka+Flink的实时数仓两套框架,转到Iceberg+Alluxio的湖仓一体开放架构中,使其同时具备数据湖的灵活性以及离线数仓的规范性,数据时效从小时级提升到分钟级。这大大提升了各类数据服务的时效性,使得数据产品能够更及时、精准地进行业务响应,甚至迭代升级,进而提升用户体验。
数据中台层方面,平安壹钱包遵循各类对象的建设制度规范,运用数据开发套件、数据资产类工具,建设了低耦合高内聚的数据模型、公司业务核心指标、多对象标签(如用户、商户、商品等),实现数据的资产化。再通过数据输出服务提供到数据前台,孵化各类数据产品进行综合经营分析、画像圈客营销、智能营销推荐、风控反欺诈反洗钱等各场景服务,实现资产服务化产生业务价值。
数据中台就像是足球场上的中场球员,企业拥有一个好的“中场球员”,就是拥有了触达服务“前锋”的驱动力,最终实现并完成前端服务“进球”。
明确整体的数据治理架构之后,平安壹钱包在研发、数据资产运营、数据资产成本分摊、数据安全全生命周期管理、数据服务等细化领域进行发力,大幅提升数据治理效率。
全面技术升级。为了能够降本增效,并满足新业务不断增长的数据需求,平安壹钱包对数据计算资源、存储管控、数据安全、数据血缘追溯等方面进行了治理,全面提升技术水平。
简单来说,采用自研调度系统让计算资源分配更合理、二开Spark组件提升计算效率;优化大数据集群存储方式及网络交互的压缩方式,以降低储存占用空间;将公司外部数据源通过数据交换前置统一接入后经过数据入仓系统入仓入湖,将公司内部全业务系统数据,特别是同表异数据库的数据和行为数据进行实时和离线两条链路入仓入湖,让数据集成更高效;数据加解密技术构架采用主子任务设计模式,实现分布式弹性扩展批处理能力,嵌入数据交换链路,提升数据加解密效率保障入仓入湖的安全性;同时解析平台不同标准SQL语句得到ASTNode树并落到图数据库中,最终,通过路径寻找等多种算法应用在数据地图和调度任务监控上,可以更加直观的展示数据资产类型、呈现任务拥堵点,让数据血缘脉络更清晰。
数据治理背后的“瀚海”价值
减少1秒的收款时间,精准的信贷多让1个小微企业活下去,多保护1个用户免受电诈,多让1个老人享受适老化服务。这点点滴滴,都需要支付企业通过数据驱动业务,以优秀的数据治理体系,优化前端服务。这同时也是“瀚海”大数据一体化平台发挥平安壹钱包数据要素价值,反哺社会,并向行业客户提供数字化服务能力的具体表象与愿景。
平安壹钱包认为,通过数据开发治理一体化将数据治理的过程融入到数据开发的全生命周期中,沉淀出一套安全可靠、质量可信的公司全域数据资产,孵化出各类数据产品提升业务运营效率。最终要实现的是,把数据作为企业的第一生产力赋能到用户、商户的服务中去,用数据升级金融加科技全链路,实现平安壹钱包全面数字化经营,进而产生更大的社会价值。
平安壹钱包数据治理的发展阶段
平安壹钱包基于平台全面数据治理产出的数据资产及孵化的数据产品,已运用在深化平安综合金融、车生态等场景服务模式上,洞察用户需求满足不同综合金融的需求;也结合与支付及积分账户整体解决方案赋能合作伙伴,为企业用户提供多种产品、一站式的综合金融服务。
值得一提的是,平安壹钱包始终将用户的交易资金安全作为业务发展中的核心。为了保障支付的安全性,融合线上线下的海量非金融与金融数据,综合用户及商户画像特征,采用机器学习、深度学习、知识图谱等技术建立了精准的风控策略和模型,搭建了以“瀚海”大数据一体化平台为核心的智能风控平台,覆盖账户、商户全生命周期风险管理,实现风险的事先预测、实时处置和事后预警监控的风险闭环管理,达成了公司经营业务风险管控的良好运作、有效地管理和降低风险。
从风险智能管控、自助经营分析、算法推荐营销、安全监督合规各层面做好数字化运营,其根本是为企业带来价值。而且数据治理是长期之路,需要持续完善基础数据能力,聚焦数据资产价值转化,满足监管治理要求的前提下解决业务痛点促进业务增长。
近日,中国支付清算协会发布2022金融服务数字化转型案例,将“瀚海”数据治理平台实践就作为优秀案例之一入选。总的来说,平安壹钱包自研的“瀚海”大数据一体化平台紧扣行业数字化转型痛点,深入剖析技术解决方案及创新举措,具有较强的业务借鉴和行业推广价值,可以是其他企业数字化升级之路上的参考蓝本。