10月28日一早，湖北电力信通公司大数据室主任廖荣涛登录数据中台全链路监测平台，查看数据中台当天数据同步情况。平台提示，智慧供应链应用有1张数据表在数据中台的数据量为0，核查发现是该数据表在源端系统结构变更造成的。和之前每日由国网大数据中心通知数据质量问题的方式相比，数据中台全链路监测平台大大提高了数据核查的工作效率。
数据中台全链路监测平台是国网湖北电力企业级数字基础能力建设重点项目工作成果之一，由湖北电力信通公司承建。该平台于5月份启动建设，9月底上线运行，可对数据从源端系统到数据中台再到业务应用的流转通道以及数据资源进行统一监测，实现数据链路可视、可查、可追溯，推动数据监测应用更智能。
细化数据监测颗粒度
精准定位异常
数据从源端业务系统接入到数据中台后，将经过多层清洗、处理、汇总、输出等流转过程，且省级数据中台和国网大数据中心数据中台两级中台之间数据交互频繁、数据链路复杂，任何一个环节出现问题都会造成数据无法使用。
“在前期数据中台状态监测专项工作成果的基础上，平台研发人员统筹设计，细化监测颗粒度，实现了监测对象从数据表到字段的突破。”湖北电力信通公司数据中台专责王晟玮介绍。平台研发人员梳理各专业业务规则，厘清数据字段从产生、加工融合到流转应用的上下游依赖关系即数据链路，实现了数据字段级监测，确保数据中台字段级数据传输的一致、完整与及时。
厘清数据链路之后，湖北电力信通公司从数据流与组件两个维度，设计了涵盖数据调用任务、中台组件、数据服务、重点应用4个方面的58项监测指标，明确了数据监测的标准。之后，该公司多次研究，确定了通过元仓数据、日志信息采集数据，加工计算形成监测指标后推送至前端界面，可视化展示全环节数据流转的技术路线，实现数据中台全链路情况在线可视、可查、可监测。
基于数据字段级监测，平台还实现了数据异常告警、定位和溯源三大功能。目前，该平台已监测数据中台接入的59个业务系统数据，涉及数据表1.68万张，日均监测数据任务超3万个。上线以来，该平台发现接入数据链路异常286次，预警两级中台异常98次，国网湖北电力数据质量问题分析耗时降低80%。
开放监测能力
提高数据调用效率
“网上电网应用申请将营销业务应用系统电量电费数据纳入监测平台，主要包括302个‘煤改电’等台区5.5万户客户的用电量数据。”10月29日，王晟玮收到国网湖北电力发展部专责叶宇轩的邮件。王晟玮了解情况后，组织技术人员制订方案，开展电量电费数据链路梳理，并在平台上配置相关信息。当天下午，叶宇轩便可以在数据中台全链路监测平台的应用监测模块看到数据同步情况，省去了数据确认与核查的环节，数据调用效率大大提升。
随着数据中台的深化应用，跨专业、跨部门的数据调用日益频繁。以往数据开发人员申请数据后，一般通过电话、邮件与业务部门核对确认业务数据状态。这种方式耗时费力，而且当业务数据状态出现变更或错误时，没有预警和定向通知，信息无法自动及时传达给相关人员，问题处理较为被动。
为了更好地支持业务部门开展数据分析应用，湖北电力信通公司为数据中台全链路监测平台开发了应用监测模块，相关人员可查看业务数据在各环节的情况。通过该平台，跨专业的数据共享和使用更加便捷，大幅降低了沟通成本，推动数据分析应用的开发迭代时长缩短20%。
按需联动
提供个性化监测需求解决方案
10月28日，黄冈供电公司配网故障抢修应用负责人胡欢君在全链路监测平台查看数据运行情况。应用后台数据链路运行正常，数据更新频率为5分钟，满足应用开发需求。配网故障抢修应用需要抽取用电信息采集系统中的实时电流、电压等数据，并根据时效性调整应用开发策略，对数据时效性要求较高。此前，全链路监测平台常规的日监测模式无法其满足开发要求。
收到配网故障抢修应用的数据抽取需求后，全链路监测平台技术人员将配网故障抢修应用的接入数据颗粒度由数据表细化到涉及电流、电压等数据的字段，并设置数据时效性监测指标和异常告警规则，让应用能够实时获取源端数据更新情况。
针对应用开发中常见的数据变动频繁、时效性以及优先级要求不同等情况，湖北电力信通公司梳理个性化监测需求背后的业务逻辑，找准数据链条，并根据应用需求定制化设置监测颗粒度，提高数据监测与应用开发实际需求的契合度。
“新建应用及重点应用可按需提高监测频率、配置告警阈值、定制监测指标，结合业务变化灵活调整。”国网湖北电力数据中台总体负责人周鸿雁说，“目前，全链路监测平台重点保障向国网大数据中心报送的507张数据表的传输，支撑国网湖北电力243项考核指标的计算，持续开展本地116条关键数据链路监测，更多的监测需求我们还在积极与业务部门对接中。后续，我们将不断拓展监测范围及深度，让监测服务流程更加标准化。”
评论