大数据技术在工程安全领域的应用设计周星妤--中国期刊网

字体：大中小

首页> 原创作品> 正文

大数据技术在工程安全领域的应用设计周星妤

发表时间：2021/7/6 来源：《基层建设》2021年第12期作者：周星妤

[导读] 随着新兴技术的兴起，工程领域与大数据的联系越来越紧密。在工程安全领域，涉及的监测数据种类繁多，数据量大，传统的方法难以满足其管理效益，

        大数据技术在工程安全领域的应用设计
        周星妤
        上海勘测设计研究院有限公司上海市 200050
        摘要：随着新兴技术的兴起，工程领域与大数据的联系越来越紧密。在工程安全领域，涉及的监测数据种类繁多，数据量大，传统的方法难以满足其管理效益，而大数据可以提供更为便捷、高效和有效的工具。本文从工程安全管理角度出发，从安全监测数据的采集与集成、数据存储、数据仓库、数据共享、数据的分析应用以及系统建设六个方面展开大数据技术在工程安全领域的应用设计，为工程安全管理的优化升级提供经验参考。

        1 引言
        当前，随着工业4.0浪潮的兴起，新一轮科技革命和产业变革正重塑全球经济结构，物联网、云计算、大数据、人工智能等信息技术不断向工程领域融合渗透，为大数据在工程领域的实施奠定了坚实的技术基础。在工程安全领域，传统的安全管理通过人为的安全监测数据分析和整理来检查工程安全状态，人工的检查往往效率不高，实时性差，质量也可能会产生一定的偏差，历史状态也难以追溯和检查[1]，随着数据类型以及数据量的日益增多，传统方法也难以满足海量数据的存储和处理[2]，而大数据技术的引入为工程安全的数据采集、共享、服务等环节提供了有效的技术手段，使得工程安全管理更加地高效和有效。
        2 大数据技术应用
        工程安全所涉及的数据类型多样，规模庞大，其蕴含巨大的数据价值，对于全面提升安全管理质量发挥着重要作用[3]。大数据在工程安全领域地应用主要集中在安全监测数据的采集与集成、数据存储、数据仓库、数据共享、数据的分析应用以及系统建设上，通过一系列的大数据技术将工程安全管理进行规范化、流程化和数字化，本文将针对工程安全管理进行大数据技术的应用设计，为工程安全管理的优化升级提供经验参考。
        （1）工程安全监测数据采集与集成
        数据采集服务可以实现工程安全监测内外部系统的结构化数据、半结构化数据、非结构化数据等不同类型、不同时效的数据的复制与整合。数据内容包含了监测数据、建设和运维等业务数据、水雨情等外部数据。技术要点包含：全量、批量、实时的数据采集；大数据量的数据采集；复杂网络环境下的可靠数据采集；跨网段、跨单位的数据采集；基于通道、文件的加密传输；多种数据接口和传输协议；提供数据采集日志；断点续传功能等。
        异构、异地的数据采集提供基于流加工技术的数据采集和共享，在一个服务内可以实现数据库、文件、JSON、XML、传输队列、适配器等之间的相互交换。对于不能跨网段访问的数据库，配置跨网段的数据采集服务，实现跨网段的实时联动数据采集。数据采集过程中的数据集成包括数据的清洗、校验、转换和标准化。通过数据清洗删除无关数据、重复数据，平滑噪声数据，并处理缺失值、异常值；数据校验基于数据类型、数值特征等接入标准，对数据进行校验，以保证数据的准确性；对于来自多个数据源的数据通过数据转换整合成标准一致的数据；数据标准化通过平滑聚集，数据概化，规范化等方式将数据转换成适用于处理的形式。为了保证数据采集的可靠性、性能和实时性，采集过程中还可支持断点续传、实时交换和数据的平行加工的功能。
        （2）安全监测数据的存储设计
        数据存储设计以HDFS分布式文件存储为主，HBase、Redis、OpenTSDB等NoSQL数据库为辅，Oracle、mysql等关系型数据库为有益补充。
        （3）建立大坝安全监测数据仓库
        安全监测数据的数据仓库在逻辑上分为源系统层ODS、清洗汇总层DWD、指标模型层DWA、数据集市层DM。
        在数据接入数据仓库前，首先进行数据源的分析，确定哪些数据需要被抽取，在分析数据质量情况后选取合适的抽取和加载方式。数据存储过程中原系统层ODS首先将各个孤立系统的数据集成起来，组成统一的、全局的数据交换平台；再经由清洗汇总层DWD有选择地集成源系统层的数据，对数据进行抽取、清洗、转换操作，形成数据主题域；在指标模型层DWA实现概念模型、逻辑模型和物理模型的设计，对数据做轻度的聚合操作，提升公共指标的复用性，减少重复加工；最后在数据服务层DM进行针对事实表和维表的设计，以便后续的数据分析和服务。
        （4）提供监测数据的共享服务
        通过提供API接口的方式实现安全监测数据的共享服务，数据共享采用常用的标准格式，如XML和JSON。通过数据共享，数据消费者可实现对数据的访问、查看、订阅、下载、接收以及交换。
        （5）安全监测数据的分析应用
        对安全监测数据的分析应用包括查询统计和数据挖掘分析。数据的统计和查询通过Hive、SparkSQL、Impala等查询工具实现，数据挖掘通过开源的数据挖掘工具实现，如Mahout、MLlib、TensorFlow。
        数据的查询统计支持对特定时段和维度的数据的统计，可以提供数据统计图表以及统计特征值的计算结果，便于使用者的查看与分析。数据挖掘在监测资料进行准确性校验的基础上，根据实际监测到的变量和预定的数据模型，对安全状况进行定性、定量的分析评价，包括：施工过程的辅助应用及数字化管理（如，灌浆注入量分析、图纸智能识别、图纸智能分割），对安全整体工作状态的评判（如，工程体表裂缝识别）、工程安全预报预警（如，工程变形预测、渗流预测）、数学模型的维护和预定、分析结果的多种展示形式（包括但不限于：数据大屏、移动端、报表、图、在线二维、三维图等形式）等。
        （6）构建安全管理系统
        充分利用工程安全监测设施和信息资源，整合运行管理单位的信息资源与业务应用，建设满足管理需要的安全管理系统，实现的功能包括：实时安全监测数据与运行管理信息的收集、汇总和集中分析处理；实现安全运行性态在线监视和分析预警；为突发事件应急处置提供远程会商与指挥技术支撑。

        图1 大数据在工程安全领域的应用技术架构
        3 结语
        本文从安全监测数据的采集与集成、数据存储、数据仓库、数据共享、数据的分析应用以及系统建设六个方面对工程安全管理的大数据应用进行展开设计，通过这一系列的大数据技术将工程安全管理进行规范化、流程化和数字化，提高管理决策的准确性与正确性，为达到“智慧”的目标奠定基础。
        参考文献：
        [1]许明情.岩土工程安全监测自动化系统的研究[D].中南大学，2008.
        [2]饶小康，马瑞，张力，义崇政.基于人工智能的堤防工程大数据安全管理平台及其实现[J].长江科学院院报，2019，36（10）：104-110.
        [3]郝静，郝新颖.大数据信息技术在水利管理中的运用[J].中国新技术新产品，2021（05）：131-133.