基于海绵城市规划建设需求,综合运用在线监测、物联网、大数据等先进技术,结合模型模拟技术可科学分析和确定试点城市海绵城市建设的主要成效,优化海绵城市建设方案,同时也为海绵城市建设绩效考核评估提供最直接的依据。此外,借助海绵城市建设绩效考核评估所建立的综合监测信息化平台,可全面提升海绵城市的规划决策水平、建设水平和运营管理水平,为海绵城市的有效实施提供现代数字化管理手段。
我公司与西安理工大学一起合作,目前已经完成西咸新区海绵城市绩效考核评估方案。
考核评估综合管控信息平台拥有如下主要功能模块:
- 自动采集模块:采用先进的企业级消息队列群集和负载均衡技术,支持多种主流的数据传输协议,足以满足百万级别数百种不同类型设备同时接入,并能7*24小时同时接收各类采样数据。该模块由设备接入服务、设备运维远程控制、监测服务平台三个系统构成。
- 人工采集模块:采用B/S架构数据收集系统,方便用户随时方便的对数据和报告进行上传和管理。该功能模块详细描述请见”考核评估平台”。
- 统计分析模块:构建于大数据机器学习算法的基础上,可实现考核指标的快速分析和智能分析。
- 成果发布模块:
- 数据处理模块:
- 数据预处理模块:具备实时数据处理与修正能力,可对数据采集过程中出现的异常情况进行识别和剔除。该功能模块详细描述请见”监测设备接入平台“。
- 数据存储模块:采用构建于私有云平台基础上的Hadoop分布式存储,在满足海量数据的存储需求的同时确保数据存储安全为满足海量数据存储,以及大数据处理服务需求,保障整体平台的高可扩展性和高弹性。该功能模块详细描述请见”考核评估平台“。
- 数据模拟模块:具备年径流总量控制率、城市内涝、面源污染控制三项指标的数据模拟功能,并可根据监测数据进行模型率定。该功能模块详细描述请见”考核评估平台”。
核评估基础信息数据库作为各类基础数据的接收、存储和数据开放引擎,将对以下几类数据进行对应的处理,包括对各种数据的清洗、检索、查看、调用(Restful API)、下载。
数据库系统架构
架构图:海绵城市考核评估基础信息信息数据库功能架构
海绵城市考核评估基础信息信息数据库由数据库管理门户、数据接收模块、数据清洗模块、数据存储模块、数据开放接口和数据库存储系统构成。不同格式的基础数据在基础信息数据库管理门户接收后,由系统自动判断并分别存储到Hadoop分布式数据库、MySQL或文件系统当中。
数据采集对象
海绵城市考核评估基础信息数据库将对以下类型的数据进行采集:
- 现场图像资料:JPG图片格式
- 监测数值资料:EXCEL格式、CSV格式文档资料
- 文本报告资料:TXT格式、WORD格式、PDF格式文档资料
示意图:通过文件上传采集文件数据
- 包括地质文件资料:TXT格式、WORD格式、PDF格式文档资料
- GIS地形文件资料:GDF格式、MXD格式文档资料
示意图:GIS地形数据编辑器
- 地下水位、水质报告资料:TXT格式、WORD格式、PDF格式文档资料
- 地下水位、水质数值资料:EXCEL格式、CSV格式文档资料
- 地下水位、水质实时数据:通过Json格式从监测服务平台以Restful API形式获取
示意图:通过URL从数据采集系统中接收数据
- 排水管网、排水分区设计资料:DWG格式CAD设计图纸资料
- 现场图像资料:JPG图片格式
- 文本报告资料:TXT格式、WORD格式、PDF格式文档资料
- 现场设计资料:DWG格式CAD设计图纸资料
- 现场图像资料:JPG图片格式
- 文本报告资料:TXT格式、WORD格式、PDF格式文档资料
数据库系统功能
- 空间数据表现了地理空间实体的位置、大小、形状、方向以及几何拓扑关系,数据库支持以地形内容为基础的地理基础数据库包括GDF和MXD形式文件的导入和存储。
- 属性数据相对于空间数据而言表现了空间实体的空间属性以外的其他属性特征,属性数据是对空间数据的说明,数据库支持文本标签、版本、数据来源、数据提供者、和自定义(Key-Value)属性数据的存储。
- 自动采集实时数据:通过Restful API从监测平台自动获取监测时段的降雨实时数据,并通过Hadoop数据库进行数据存储。
- 人工采集或历史数据:通过对Excel或CSV文件的智能匹配和数据解析,将降雨历史数据以数据流的形式导入系统,并通过Hadoop数据库进行数据存储。
- 自动采集实时数据:通过Restful API从监测平台自动获取各测点水量、水质实时数据,并通过Hadoop数据库进行数据存储。
- 人工采集或历史数据:通过对Excel或CSV文件的智能匹配和数据解析,将文件中的各测点水量、水质历史数据以数据流的形式导入系统,并通过Hadoop数据库进行数据存储。
- 在线监测数据:通过Restful API从监测平台自动获取各监测设备运行实时数据,并通过Hadoop数据库进行数据存储。
- 内涝模拟数值数据:通过Restful API从考核评估平台自动获取城市内涝模拟结果数据,包括内涝范围、积水点分布、积水深度、积水点宽度等信息以结构化数据形式存储在Hadoop数据库中。
- 内涝模拟动画结果:通过Restful API从考核评估平台自动获取城市内涝模拟动画结果,并通过视频文件形式存储在文件系统中。
- 通过Restful API从监测设备远程管理模块自动获取设备连接状态和异常状态报告,并通过Hadoop数据库进行数据存储。
- 监测与评价统计结果结构化数据:通过Restful API从考核评估平台自动获取城市监测与评价统计结果数据,以结构化数据形式存储在Hadoop数据库中。
- 监测与评价模拟结果结构化数据:通过Restful API从考核评估平台自动获取城市监测与评价模拟结果数据,以结构化数据形式存储在Hadoop数据库中。
- 监测与评价结果报告:通过Restful API从考核评估平台自动获取城市监测与评价结果报告,以PDF文档形式存储在文件系统中。
- 自动监测设备采集到的液位、流量、气象、土壤含水率、水质实时数据:通过Restful API从监测平台自动获取液位、流量、气象、土壤含水率、水质等实时半结构化数据,并通过Hadoop数据库进行数据存储。
- 人工监测采集到的水质、环境等报告文档:通过Restful API从考核评估平台自动获取人工监测到的水质、环境等报告,以WORD、Excel、PDF等原始文档形式存储在文件系统中。
- 数据清洗:可通过对数据进行多维度描述、分类、清洗,为后续的数据检索提供丰富的检索条件。可增加的数据清洗维度包括:文本标签、版本、数据来源、数据提供者、和自定义(Key-Value)属性。
示意图:数据清洗功能
- 数据检索:可通过关键字对数据的标题、全文、标签、格式进行智能匹配和检索。
示意图:数据检索功能
- 数据查看:可通过基础数据管理门户对各类数据进行在线查看。包括多种文本格式:Word、Excel、PPT、PDF等;图像数据:Jpeg、BMP、GIF、PNG等;结构化数据文件:CSV、Excel等。同时还可在线显示数据的多种描述属性。