山东合创环保科技有限公司 山东省聊城市 252000
摘要:随着科学技术的发展,我国的数据融合技术有了很大进展,并在环境监测网络中得到了广泛的应用。环境质量与我国民众的身体健康以及社会经济发展有着紧密联系,随着我国环境监测工作的不断深入,越来越需要对多个维度的数据进行处理,所以也为数据融合技术的发展提供了宝贵机遇。基于此,本文将以阐述数据融合技术的基本概念为切入点,对数据融合技术在环境监测网络中的应用进行分析,以供参考。
关键词:数据融合技术;环境监测网络;应用分析
引言
我国大力支持大数据产业的发展,并在2015年首次明确提出数据强国战略,自此之后,大数据战略的实施直接关乎我国经济结构的转型问题,直接服务于我国民生问题,直接决定了我国的战略性地位。
1数据融合技术的概念
数据融合技术是对数据给出的信息进行采集、传输、综合,使人们能够对周围环境进行判断、探测、验证。使用数据融合技术主要是收集各种传感器采集的信息,我们将传感器给出的信息称为源信息,信息系统进行处理的时候也是对源信息进行处理,这种系统能够将各种传感器提供的信息进行加工,通过波形、数据的形式来体现出来。数据融合技术,早期被用于军事领域,将遥感技术与数据融合进行智能化合成,在战争中为人们提供了重要的数据基础。数据融合技术,相当于在一般的地理坐标当中,将检测的目标和不同的数据进行专业的算法处理。
2大数据事务与分析融合
在安防大数据领域,由于数据7*24小时实时采集的业务场景特性,系统积累大量的人、车、物等数据,这些数据类型多样(文本、图片、视频、特征值数据等),体量庞大(PB级以上),安防系统用户特别是公安用户需要通过这些数据挖掘出特定的信息,以便进行研判和决策。同时,也希望在这些海量数据中能快速地实现进行目标的布控和定位,针对不同的应用场景和业务应用需求,形成了一些明确、有实战效果的技战法应用。比如相对比较成熟的车辆技战法,其中囊括了初次入城分析、嫌疑车辆分析、跟随车分析、假套牌分析等多种战法技术,这些技战法可以说是具体业务的数据分析算法模型。人像技战法由于当前人像识别准确度的限制,尚未形成丰富的技战法应用,但是类似一人一档,人像聚类,人像布控的应用也已经在大规模使用。上述的这些应用业务,面临的是不同场景下的分析需求,既有海量实时数据的分析,也有对离线数据的联合碰撞挖掘,特别是在突发事件处理、重大案事件处理的时候,对时效性要求很高。为了解决此类问题,满足不同技战法的分析应用需求,我们可通过数据分层处理的方式,构建一个灵活的,融合事务处理和分析处理能力的数据处理架构。
3数据融合技术在环境监测中应用存在的问题
3.1数据处理技术有待完善
在应用数据处理技术过程中,由于存在各种外部因素的作用,导致数据缺陷或者数据冲突等情况时常发生,致使数据信息的处理欠缺全面性,甚至会在数据处理阶段产生比较多的冗余信息,极大的增加网络数据传输压力,影响数据处理的效率与质量。
3.2教学资源短缺
当前常用大数据信息融合课程教材中往往涉及概率密度、马尔科夫链、链式法则、随机集和粗糙集等一系列基本概念,教材中部分概念缺乏前置知识简介。
3.3未构建起完善的数据融合环境质量评价体系
当前,由于基础评价指标比较少,历史收录数据不全面,往往会造成最终的评价结果欠缺全面性,难以将真实的外部环境质量表现出来。此外,环境监测网络目前主要对同类别的数据信息进行收集与分析,欠缺对图像、影像等多媒体信息的收集,致使监测人员难以如实的判断出真实的环境质量,进而会对接下来环境治理工作目标的制定造成直接影响。
3.4效率低、信息丢失等情况
一些数据库就会出现效率低、信息丢失等情况,还会忽略不同检测因素对环境的影响,这种情况下,进行的环境监测数据会影响后期对环境状况的分析。因此,我们要不断更新技术,改善系统当中数据处理、分析方法,从而对环境监测有一个更准确的判断。
4解决数据融合技术在环境监测网络中问题的建议
4.1提升数据采集效率
首先,根据需求来对环境信息进行归类与评价,对监测仪器的工作参数进行实时记录,识别并剔除失真数据,从而最大限度的提升监测数据的采集效益与质量。
4.2数据采集通信子系统的实现
在环境监测系统中数据采集能够通过各个站点进行数据存储,不同检测站点存储时会根据存储时间生成不同的存储文件,在进行数据查找时能够清楚易懂。我们为了方便数据管理的存储位置信息需要构建一个配置信息表,其中包括监测站点,监测站点也是作为标识点,IP地址是数据库服务器所在的IP地址,数据通信通过使用网络编程和线程池来完成。
4.3推进监测数据公开
建设环境监测大数据平台,统一方法标准和数据格式,实现各级监测数据互联互通,通过终端软件、新媒体等形式发布环境质量信息并收集个人感官数据。
4.4数据冷热自动分级存储
一般的存储系统由多种存储介质组成,比如内存、PCIESSD、SASSSD、SAS/SATAHDD等,分布式数据库可对数据实现自动的冷热分层,将最频繁使用的数据放在读写最快的部件上,从而可以最充分的利用硬件的优势特性,提升数据的快速命中率,从而实现海量数据秒级分析检索。中间层为各种数据分析引擎,这些引擎可利用业内成熟的各种分析框架,根据业务的需要灵活加载和调用,并且通过这些框架组合的方式,实现数据针对不同上层业务的高性能分析处理。这些引擎有多种类型,涵盖大数据离线分析、实时分析、流式分析等各种成熟的分析算法,可按需调用加载并进行组合。上层为数据应用引擎,这些引擎实际上是一些面向业务的算法模型,结合应用事务的需要,提供面向应用业务的、具体的数据算法服务。这些模型采用模块化的方式构建,在系统中可插拔、可替换,提供人车物等类型丰富的数据整合和关联分析以及丰富的技战法应用。在这样的架构下,实际使用过程中,各种分析引擎以及底层的数据读写可支持灵活的业务编排和开放的管理调度,从而支持不同业务分析技战法的灵活开发,快速形成各种针对性的业务技战法服务,提升了系统大数据应用创新的能力和创新速度。
4.5数据应用子系统的实现
首先是应用层的体现,环境指标能够展示数据融合的结果,可以添加各种融合条件,像温度、风速等。环境是有温度湿度,风速三个参数共同决定,我们在进行融合结果的概率计算时要通过当时的环境状况进行数据分析,这样能够更加准确地显示当前的环境状态。
结语
总之,生态环境质量关系到我国经济发展以及民众的健康,所以积极发掘数据融合技术的应用潜力,增加其在环境监测网络中的应用力度,可以极大的提升环境监测数据的准确性,同时也可为接下来环境治理工作的高质量开展提供必要的帮助。
参考文献
[1]杨驰宇.我国环境预警监测方略刍议[J].环境与可持续发展,2016,41(6):118-120.
[2]周觅,杨夕,张明慧.我国环境监测技术问题与解决措施[J].中国资源综合利用,2017,35(6):82-86.
[3]殷春燕.环境应急监测系统的现状分析及应对措施[J].绿色环保建材,2018,0(1):18.
[4]郑淏,薛惠锋,李养养,杨伟伟,张佳音,王斐.数据融合技术在环境监测网络中的应用与思考[J/OL].中国环境监测,2018(05):103.
[4]解红,刘建.DTN技术在环境监测网络中的应用[J].安徽农业科学,2011,39(20):12573-12574.