工行:发展大模型技术需警惕网络金融黑产
在大模型等技术推动下,数字金融快速演进。大模型技术在提升金融服务效率与品质的同时,也带来新型安全风险与挑战。尤其在防范金融黑产领域,各种新型风险持续显现,对金融行业安全防护能力提出了更高要求。
近日,中国工商银行金融科技研究院安全攻防实验室(以下简称“实验室”)发布了2024网络金融黑产研究报告。
实验室基于最新研究成果,从金融安全视角剖析去年金融黑产新动态与趋势,为金融机构及行业提供洞察和前瞻防范策略。
研究报告梳理了五种黑产攻击手法演变趋势和五种黑产防护对抗与思考。
其中,演变趋势三与对抗方向二、三、四、五,均与AI技术有关。
黑产攻击手法演变趋势三:GPT不可信,大模型成黑产欺诈入口
ChatGPT“中毒”变黑产帮凶,诱导用户泄露秘钥。
某开发者利用ChatGPT编写虚拟货币买卖脚本时,不法分子事先制作了包含指定关键词的钓鱼网站,该开发者在询问ChatGPT问题时,因为大模型的检索语料增强机制,大模型将恶意内容添加到回复中,该开发者因为不知道内容已经遭到污染,就直接使用了ChatGPT生成的恶意代码,并填写了自己的账户私钥,导致私钥被发送至不法分子服务器,最终引发资金损失。
该事件揭示了大模型代码生成过程中存在的安全风险。一是大模型生成内容可被恶意污染,导致恶意内容、恶意代码的生成。二是用户对AI生成内容缺乏足够的警惕和防范,易被诱导使用不安全的代码。
真假DeepSeek难辨,现象级产品引起海量伪造仿冒。
不法分子事先制作了2000个与DeepSeek高度相似的钓鱼仿冒网站,随后利用搜索引擎排名(SEO)技术,使“DeepSeek本地部署”“深度求索”等高频词在搜索引擎里的排名上升,最终搜索出钓鱼网站的概率与DeepSeek官网持平,导致众多用户错误访问钓鱼网站,下载了恶意程序。
这些网站主要利用相似域名和界面误导用户,窃取用户登录凭证,或者诱骗用户购买虚拟资产等手段实施诈骗。有些钓鱼网站还会诱导用户下载“DeepSeek大模型安装助手”等伪装成部署工具的恶意程序,向用户设备植入木马。
黑产防护对抗方向二:多模态图学习,实现全局智能风控屏障
当前风控中应用的传统机器学习模型受限于单一的数据类型,难以捕捉黑产团伙跨文本、图像的隐蔽关联。
实验室尝试引入了多模态图学习的方法,得到图像与文本信息在联合特征空间内的嵌入表示,使得节点既可以嵌入用户行为、设备类信息等结构化数据,又可以嵌入文档、图片等非结构化数据。
在此基础上,构建异构图注意力神经网络(HAN)。利用节点级注意力机制学习基于元路径的邻居权重,使用语义级注意力机制对所有元路径进行加权,以获得节点的最佳加权组合。
黑产防护对抗方向三:人机对抗,斩断黑产自动化之手
当前大模型技术日趋成熟,传统验证码的效果逐步下降。
鉴于此,业界提出了一种利用视觉错觉和诱导性提示的新型验证码。它基于视觉错觉原理,生成直观且易于人类理解但难以被AI解析的图像。
实验结果表明,当前最先进的多模态LLM(如GPT-4o和Gemini 1.5 pro 2.0)完全无法成功通过该验证码的测试,而超过86%的人类参与者能够在首次尝试中顺利完成验证,这一突破性进展有望成为未来验证码发展的新标杆。
黑色防护对抗方向四:大模型驱动,构建动态防御风控引擎
当前,金融风控领域正面临传统技术框架与黑灰产动态对抗的深层矛盾。传统规则引擎与机器学习模型存在显著局限性。
金融业与互联网机构正加速将大模型技术融入风控体系,尤其在自动特征工程、策略动态调优与多模态数据整合等关键领域。
在自动特征工程领域,业界普遍采用多源数据融合与动态特征挖掘策略,将用户行为序列、设备指纹等多维度数据纳入模型训练体系,构建覆盖全链路的黑灰产识别框架,将非结构化数据转化为超千维的动态指标。
在策略动态调优领域,AI风控智能引擎大幅简化了原有需要专业算法工程师深度参与的操作流程。
在多模态数据整合领域,大模型通过分析图像高频噪声分布、边缘连续性等特征,可精准识别证件伪造、屏幕翻拍等欺诈手段。
黑色防护对抗方向五:全生命周期风险管控,大模型安全检测框架
基于“人工智能传统安全风险+大模型特有安全风险”,构建金融行业大模型安全风险检测框架(如下图所示)。
(金融行业大模型安全风险检测框架)
该框架覆盖从环境数据准备到模型部署运营的全生命周期,实现安全风险识别,打造体系化、可扩展的大模型安全检测。