1.1    物联网数据平台

1.1.1      系统概述

物联网数据主要被用于分析和决策，企业用于分析的数据越全面，分析的结果就越接近于真实。物联网数据分析意味着企业能够从这些新的数据中获取新的洞察力，并将其与已知业务的各个细节融合，对企业产生新的价值。

1.1.2      需求分析

作为物联网数据基础平台，以OLTP（联机事务处理过程）事物型数据库+Hadoop新型数据库集群构成整个数据处理平台，使用数据库管理结构化数据，实现对海量数据的存储、挖掘分析等操作，支撑业务数据分析类应用。使用基于Hadoop的数据处理技术管理非/半结构化物联网数据，并用事务型数据库支撑在线数据采集处理，从而实现面向工业数据的物联网数据处理分析平台。

1.1.3      项目设计及功能

本方案将为用户构建一套适用于物联网数据应用的基础平台。基础平台集成了Apache开源社区hadoop，包含HDFS、MapReduce、Hive、Spark、Solr、Hbase、Storm、Flink等组件，组件内核与Apache Hadoop开源社区版本保持兼容。平台具备图形界面，支持在HDFS/Hbase与关系型数据库、文件服务器间进行双向数据导入或导出，同时在数据导入导出过程中，支持对文件进行合并、过滤、格式转换等功能。物联网数据平台支持容错和修复机制。支持滚动升级与补丁能力，业务不中断，一次升级少量节点，循环滚动，直至集群所有节点升级到新版本。物联网数据平台软件支持与主流BI软件如tableau对接；具备大规模集群交付能力。

 

物联网数据平台需提供安全、可靠、易用、高效的计算平台。

基于场景，使用合适的处理技术

SQL支持能力

为行业业务负载优化的统一数据处理平台

1.2    备份系统

1.2.1     系统概述

随着信息化程度的不断深入，信息对于企业越来越重要，一套安全、方便、高效的备份系统越来越重要。它是企业关键信息保护的重要手段，也是防止企业丢失数据的重要屏障。

1.2.2      需求分析

根据用户需求，应包含备份软件及相应软件许可；备份存储为专业存储，可用存储容量正常不少于120T；

1.2.3      项目设计及功能

本备份系统采用虚拟磁带库代替传统物理磁带库。

将磁盘仿真（虚拟）成物理磁带库，使备份服务器把磁盘阵列作为物理磁带库对待，从而实现在备份作业中用磁盘代替磁带来存储数据的目的。对主机和备份应用软件而言，并行控制器和单控制器都被视为普通物理磁带库访问。同时，通过仿真与并行控制器的扩展、组合方式更像大型物理磁带库，既可扩充磁带驱动器，也可以扩充磁带槽。

• 容量和性能的可扩展

并行技术采用的是模块化体系结构，扩展引擎可以按需配置或扩展。用户可以在备份存储系统建设初期只购买并行控制器的主引擎单元，实现一般的VTL备份存储功能。当业务系统规模扩大，备份性能要求提高，再通过增加必要的扩展引擎，来实现所需的备份性能。

• 多备份系统分享高性能

采用并行技术可以同时模拟多台磁带库。这时，可以使多台主引擎分别协调不同的虚拟带库，或者集中在一台主引擎上协调控制所有的虚拟带库。可根据实际应用环境来灵活配置并行控制器的使用方式。

备份原则

可恢复性

备份的目的就是为了恢复，如果备份成功率不可预知或不能保证在合理的时间范围内恢复系统数据，备份系统就没有价值。如果备份系统发生硬件或软件故障，有流程但没有经过演练甚至没有相应的故障恢复流程，系统很可能得不到迅速的恢复，降低应用系统的可用性。

系统整体的均衡

应该对备份系统各部分都进行性能估算，使备份系统不产生明显的瓶颈。所有备份恢复负载应均衡到不同的网卡、交换机、磁带驱动器等。追求局部性能而忽视整体的均衡实际上达不到高性能。

安全性

对于备份网络的组网设计，安全性是非常重要的，如防止发生网络风暴、黑客入侵和病毒入侵等，在设计备份网络的时候要充分考虑到各种安全隐患，通过实施网络隔离、分层防护等手段，保证业务系统的网络安全。

易管理性

备份系统是IT系统中极为重要的一部分，应尽量采取集中统一的管理方式，实现性能监控、配置动态变更等功能。

可扩展性，动态扩展能力

备份系统可以方便地扩充、升级，可以满足现在乃至未来较长一段时间内的增长需求，保护用户现有的投资，结构上能方便的过渡到LAN-Free/ServerFree的备份方案。

备份架构规划

目前可行的、常见的备份组网方式大体可以分为三种方式:

1、基于TCP/IP网络备份（LAN）；

2、基于存储区域网络的备份（LAN-Free）；

3、基于快照和卷镜像拨离的备份（Off-host）。

下面对这三种组网方式进行比较分析：

基于TCP/IP网络备份主要采用网络方式来实现数据的集中备份，优点是投资较小，结构简单，实施容易；缺点是备份系统对网络带宽占用大。为减少对已有网络的影响，可以考虑建立专用的备份网络来进行数据备份。

基于存储区域网络（SAN）的备份模式（LAN-free）中备份数据通过存储区域网络完成大数据量的数据传输过程。这种方式的好处是可以消除对TCP/IP网络带宽的占用，避免TCP/IP网络瓶颈对备份效率的影响，避免与支撑系统共享网络带宽，减少对支撑系统本身的影响。

基于快照和卷镜像拨离的Off-host备份模式可以最大程度的避免备份作业对业务系统的性能影响，也是目前成本最高的一种备份方案。

本项目规划采用基于FC的LAN-FREE备份架构，备份数据通过FC网络直接备份到备份归档存储上，减少备份对业务网络的影响。

备份类型规划

备份类型包括：全备份、增量备份和差分备份。

1、全备份——每次备份定义的所有数据，优点是恢复快，缺点是备份数据量大，需要较长时间。

2、增量备份——备份自上一次备份以来更新的所有数据，其优点是每次备份的数据量少，缺点是恢复时需要全备份及多份增量备份。

3、差分备份——备份自上一次全备份以来更新的所有数据，其优缺点介于上两者之间。

 

1.3    灾备系统

1.3.1     系统概述

灾备系统是系统高可用性的一个重要补充。当主系统出现灾难时，系统至少在灾备系统中保存一份可用的关键业务及相关数据。

1.3.2     需求分析

• 总体功能

建设一套兼顾IT的边缘计算站架构特点和传统物理架构特点，实现两个机房之间，在混合IT架构下的应用和数据容灾。

2）不间断7*24小时可用性，即关键系统某一部分发生故障后业务在指定的可接受范围内连续运行；

3）灾备系统建设满足6级容灾（零数据丢失）的要求；

4）支持不断增长的大量业务数据的容灾以及数据备份；

5）备份容灾系统具有统一管理和简单易用的特点，以简化运维；

6) 灾备系统在这两块系统上通过集群方式从服务器、光纤交换机、存储系统、数据库系统、虚拟化系统等方面解决了单点故障隐患，并将根据实际业务场景，设计满足业务需要的演练流程，并按计划进行演练测试。

1.3.3     灾备系统建设原则

• 方案制定过程中考虑了容灾系统建设对原有业务系统带来的影响。比如，采用数据复制技术对系统I/O带来的延迟及性能影响，应用数据同步对日常业务处理系统带来的压力等。
• 数据状态要保持同步。为保证灾难发生时，业务可以成功切换到备份中心，就必须保证容灾系统数据同步机制的可靠性。
• 容灾系统的日常维护工作要尽可能轻。
• 力争系统恢复时间尽可能短。
• 可实现部分业务子系统的切换和回切。
• 技术方案选择遵循成熟稳定、高可靠性、可扩展性、透明性的原则。

构建系统选择多种技术组合方式。