1、通信管理与技术 2022 年 12 月 第 6 期 51技术业务交流 Technical&Operation Exchanges1引言为深入贯彻落实习近平总书记重要指示精神和“断卡 2.0 行动”专项工作要求，不断完善技术手段管控，基于联通集团总部开放平台，搭建服务于黑龙江联通大数据应用的防欺诈服务支撑体系，针对常见的诈骗及骚扰话务行为进行调研分析，建立反欺诈业务模型及机器学习模型的迭代调优机制，实现从事前风险预防，事中风险阻断，到事后风险处理及风险分析的全流程闭环欺诈防控体系，提升数据分析效率和准确率，降低人工成本，简化管理流程，有效减少投诉量，为职能部门提供数据支撑。2 电话反诈现状与治理
2、思路2.1 诈骗骚扰电话治理现状与难点2.1.1 诈骗骚扰电话现状分析近年来，随着通信技术和业务发展的普及，诈骗分子频繁利用电信网和互联网实施诈骗，且逐步呈现智能化、职业化特点。诈骗分子利用电话、改号软件、短信、恶意程序（包括仿冒应用）、诈骗网址、伪基站等工具疯狂作案，“话术”多样、“套路”重重，影响面广、涉及金额巨大。通讯信息诈骗成为国家和相关部委关注的焦点，成为社会舆论关注的焦点。由于诈骗分子通过综合利用电信网、移动互联网等多种方式进行联合诈骗，而现有手段缺乏对不同来源相关数据的关联分析能力。所以为了提升现有通讯信息诈骗防范系统的能力，解决当前防范业务开展中面临的突出难点和痛点，需要构建一
3、个一体化的综合通讯信息诈骗防范平台。该平台将对来自电信网和互联网等多种不同来源的数据进行关联，运用多种监测防范技术，面向诈骗电话、诈骗短信、仿冒网站、伪基站等多个通讯信息诈骗环节，实现一体化的通讯信息诈骗综合监测、综合分析、综合预警和综合处置。实现多环节的欺诈群体识别、多场景的诈骗事件还原、多角度的受害人群分析、多维度的诈骗案件关联、多渠道的黑产信息溯源。为防范打击通讯信息诈骗提供更全面、有效的技术支撑。2.1.2 诈骗骚扰电话治理难点在通信过程中，针对用户漫入漫出诈骗特征分析的主要方法是通过正常用户的行为建立基线，发现非正常终端的信令行为。主要从以下方面汇聚通信特征元数据。（1）诈骗场景多变
4、（2）举报样本不纯（3）数据不均衡（4）数据表现不一致（5）样本数据不满足独立同分布2.2 解决方案及应对方法2.2.1 可扩展性强应对诈骗场景的变化针对诈骗电话治理难点中的诈骗场景多变问题，既可通过系统升级的方式来不断更新打击诈骗的手段，也可引入外部模型等手段来针对不断翻新的诈骗手段来进行灵活应对。采用层次化、模块化结构，具备良好的可扩展性，可以为功能扩展和业务定制指定接口。基于开放式标准，采用先进成熟的设备和技术，确保系统的技术先进性，保证投资的有效性和延续性。系统方便扩展设备容量和提升设备性能；具备支持业务处理得灵活的参数化配置，业务功能的重组与更新的灵活性，新的应用业务可灵活加载，并不
5、影响原有业务流程。2.2.2 先进技术应对诈骗治理中的数据问题难点采用先进成熟的概念、技术、方法和设备，既反映当前防范电话与互联网诈骗先进水平，又具有发展潜力。在基于特征和行为的大数据诈骗电话识别、多维度关联分析等方面均采用国内先进技术及理念，且这些技术与理念对于解决诈骗治理难点中的举报样本不纯、数反欺诈业务平台的研究与应用 中国联通哈尔滨分公司 赵岩 郭威/文摘要：本文介绍了黑龙江联通防范和打击通讯诈骗工作的现状及治理的难点，阐述了反欺诈业务服务支撑平台的系统架构、工作流程及实际应用。关键词：系统架构；维护管理建议；研究与应用中图分类号：TN918.91文献标识码：B 文章编号：1672-6
6、200（2022）06-0051-05522022 年 12 月 第 6 期 通信管理与技术Technical&Operation Exchanges 技术业务交流据不均衡、数据表现不一致等问题有很好的治理效果，并已在实际工作中得到充分的应用和验证。2.2.3 高可管理性为运营商提供有力技术保障高可管理性使平台更加稳定、可靠、安全地运行，为黑龙江联通在反诈治理工作中提供有力的保障手段。具体采用的技术特点如下：软件界面采用灵活的可视化设计方案；开发工具采用主流的开发工具；语言采用主流编程语言；UI 为基于 WEB 浏览器的 Web 应用；操作系统支持多进程和多线程技术，支持多用户操作，具有高实时
7、性、稳定性和可靠性；设备采用 Linux 操作系统；建立统一的安全管理机制，为系统使用人员和操作人员分配存取权限，根据安全策略和安全管理计划，定期对系统开展风险分析、安全性评估等方面的工作。3总体结构反欺诈系统从技术架构上主要分为五个部分构成：数据源、数据接入层、不良号码建模层、应用展示层、系统管理/监控部分。数据源：通过各类接口技术，如：FTP、SFTP、XML、API、JDBC 等进行各类数据的收集，将各类数据进行统一的收集汇聚。数据接入层：对收集的数据进行规范化处理后压缩入库，通过大数据技术对入库数据进行抽取、清洗、转换、压缩、特征提取、数据探索等工作，为后续建模准备良好的数据环境。不良
8、号码建模层：通过特征筛选技术、机器学习技术对模型进行训练，对训练后的模型效果进行评估，评估通过的模型正式上线运行，后续通过自动+人工的方式不断对模型进行迭代升级，形成模型升级闭环操作。应用展示层：提供综合展现、系统首页、检出号码列表、失信号码溯源、信息查询等界面，提供良好的人机交互接口，通过各类型信息的展示体现全网涉诈电话的状态，通过一键处置对涉诈电话进行封禁，加快分析处置效率。系统管理/监控部分：系统管理提供系统各模块的管理能力，主要包括菜单管理、组织机构管理、登录日志管理、登录用户活跃度、用户管理、角色管理、操作日志管理、使用热度；系统监控提供系统涉及的业务管理，主要包括数据监控、系统服务
9、监控、任务监控、告警管理、软硬件性能监控、集群监控。3.1 防欺诈系统平台与多系统间的接口与 B 域话单的接口：通过 Hadoop 大数据平台上定时经sftp下载获取B域基础数据，例如：用户资料类、订单类、话单类数据等，用于不良号码模型分析。下载频率为每天 1 次，当天获取前一天详单。与 O 域移网/固网信令的接口：通过 sftp 接口准实时获取 O 域移网和固网信令数据，例如：通话次数大于50次的用户通话次数、对端号码数、对端号码占比、接通率、漫游号码个数信息等，用于不良号码模型分析。下载频率为准实时。与经分的接口：从经分系统接收集团下发的鹰眼数据文件。与 BSS 的不良号码关停接口：采用W
10、ebservice 接口，对 BSS 不良号码进行关停操作，请求协议为 SOAP 协议。与 CBSS 的不良号码关停接口：采用 REST 协议+JSON，能力共享平台的标准协议类型，使用平台标准的鉴权方式，支持透传调用。对 CBSS 不良号码进行关停操作。与号码状态服务端的查询接口：根据不良号码获取服务端的号码关停或开通状态。获取方式为数据库查询。与不良号码拨打地服务端的查询接口：根据 LAC/CI 获取地理位置信息，采用 GET 通讯方式。图1 防欺诈系统平台与多系统间的接口关系3.2 其他第三方应用系统的接口提供对外接口与第三方应用系统对接，能够作为底层数据源，向包括网管、经分等在内的各种
11、第三方系统，所有的接口均支持接口类型包括：FTP/SFTP,SDTP,KAFKA,WEBservice，socket 等接口。能够根据不同的数据传输需求，灵活地选择不同的数据传输方式，在保证数据传输准确性的前提下，最大化地满足实时性和高效率的要求。B域话单O域固网信令B域话单上报接口O域移网信令集团下发的鹰眼数据文件O域信令上报接口O域信令上报接口经分接口大数据防欺诈系统平台BSS服务端号码状态服务端BSS关停接口CBSS服务端不良号码拨打地地获取服务端CBSS关停接口号码状态查询接口拨打地查询接口通信管理与技术 2022 年 12 月 第 6 期 53技术业务交流 Technical&Ope
12、ration Exchanges第三方接口支持灵活定制，还可以针对业务记录字段进行差异化定制，同时具备便捷的扩展能力，当第三方系统新增一种数据传输需求或者新增一个需要数据的第三方系统时，可以方便快捷地快捷地完成实施。4业务流程4.1 大数据采集数据源是指分析所需话单的来源，系统分析的数据主要为移动网 Mc 接口 XDR 话单和信令话单（O 域话单），运营商计费话单（B 域话单），互联网标签数据。B 域话单的特点：只要手机用户接听或拨打省内、省际、国际的固话或移动号码，都会生成 XDR 话单，更加贴近用户侧，覆盖面广；主要包括主叫号码、被叫号码、通话时长、开始时间主要字段的数据（数据需与运营商协
13、调）。O 域话单的特点：只要同一运营商的手机用户在省内拨打省内，省际，国际的固话或移动号码，都会产生省内相应的信令，信令采集迅速，实时性强，适合骚扰与本省内有诈骗高危地市的局点上线。互联网标签特点：互联网标签相对准确，是我们建模过程中标签数据的主要来源。4.2 数据预处理为了确保分析数据的准确性，需要对数据进行加工处理，包括数据清洗、数据转换、数据关联，不规则数据需要进行数据补齐，满足数据的完整和一致性。数据采集组件采用分布式部署方式，能够采集来自不同数据源的数据，并传输至后续模块或直接写入分布式存储。通过数据预处理组件可实现按照一定的规则，对已采集的数据进行清洗，对无用的“脏数据”进行过滤。
14、将不合理或者不满足数据结构要求的数据，进行字段取值、字段类型等转换，以满足实际数据结构要求，通过数据分发组件将数据采集模块、预处理模块发送过来的数据分发装载至一个或多个存储介质上，支持多种数据格式的分发装载。大数据处理层主要是对接大数据全域数据汇聚中心，完成数据清洗、转换、过滤、压缩、筛选、加密等处理与数据存储等功能。（1）通过标准化接口动作解析、补全、分类，形成统一格式的标准化事件，通过完整和高效的范式化方式，对事件的内容，如级别、类型、描述等进行标准化定义，从而标准化事件信息，便于后续处理。（2）ETL 预处理功能（异构业务数据录入模块）提供多样化接口，实现业务数据的实时和离线导入，提供数
15、据的抽取(Extract)，转换(Transform)，加载(Load)；针对业务数据，提供可配置的模板，对数据进行字段级别的校验，补全，转换以及过滤处理，根据配置的规则，数据加载与存储模块将数据存储到数据汇聚中心。（3）支持大数据分析、处理与存储的能力，支持大数据量的高效采集、清洗、关联、汇总、计算、压缩、转换、加载能力；大数据量低时延的查询响应能力，支持记录数 10 亿级以上的数据查询毫秒级响应能力。（4）支持互联网标签存储、管理、查询功能；支持基础特征的计算，存储，管理，查询功能。4.3 诈骗电话和骚扰电话数据处理流程诈骗电话数据处理流程如图 2 所示。诈骗电话数据处理流程图数据采集反欺
16、诈引擎分布式解析引擎Portal分布式应用存储设计Session缓存B域23G语音详单B域4G语音详单反欺诈引擎反欺诈解析诈骗电话数据MySQL数据库注册中心网关系统管理Portal服务Portal大数据服务数据字段Sybase IQ指标IQ指标解析Nginx前端服务全量IQ数据库诈骗数据指标同步总部模型检出数据总部鹰眼数据解析省分模型检出数据省分数据解析图2 诈骗电话数据处理流程图542022 年 12 月 第 6 期 通信管理与技术Technical&Operation Exchanges 技术业务交流骚扰电话数据处理流程如图 3 所示。5维护管理建议5.1 防欺诈体系在黑龙江联通防欺诈系统建设实施层面，要围绕“一个中心，三大体系”进行建设：一个中心，是指建设具备集中化、智能化、高效化的防欺诈分析运维管理中心。将该中心的建设作为整个防欺诈体系建设的核心，并进一步发展建设成为通信安全保障体系的管理核心，纳入管理体系内所有的构成元素，并使之处于可监控状态，最终保障通信网络的稳定高效运行。三大体系是指技术体系、管理体系、运维体系。三大体系作为黑龙江联通信安部整体安全保障体系的支柱，彼此依
