专注数据存储、数据安全、数据容灾设备及解决方案供应商、服务商 2015-11-17 13:47

国内为数不多,专注数据存储、数据安全、数据容灾设备及解决方案供应商、服务商。

国内为数不多,专注数据存储、数据安全、数据容灾设备及解决方案供应商、服务商。

 

  数据引领变革——大数据解决方案

 

方案介绍

  大数据是人们如何看待数据资产、在哪里收集、怎样分析以及如何将分析得到的见解转化为利润的一种复杂而持续的过程。

  毫无疑问Hadoop已成为大数据行业发展背后的驱动力, Hadoop带来了廉价处理大数据的能力,同时具备高效处理各类数据(包括结构化、非结构化等)的能力。

  Hadoop的主要组件如下:

  基于对大数据和Hadoop生态环境的理解,我们设计并提出如下大数据建设方案:

  可以看到,整个大数据方案是由数据获取、数据整合、数据存储管理、数据分析、数据展现与交付几个主要过程组成。与传统BI方案不同的是,此方案融合Pivotal HD& Greenplum构建统一分析平台,能够为来自企业内外部各类系统的各类数据从获取、整合、存储管理与分析展现提供全生命周期的计算与支持能力。

最佳实践 

  目前我们已经成功将上述大数据方案落地并实践到某家全球白电第一品牌企业。通过为其搭建大数据处理平台(HADOOP+分布式内容计算引擎),更加快速地处理来自互联网以及集团内部的各种类型的海量数据,通过数据带动企业变革,为企业带来收益和价值。 

  面临挑战:企业内存在上百套业务应用系统,均有各自的内部数据库,但是各应用分布模式是竖井式,资源无法有效共享, 用户需求响应速度难以满足,提供决策的数据统计分析不全,非结构化数据未进行收集分析。

  挑战应对:随着大数据时代的来临和业务模式的平台化,需要搭建自己的大数据平台,通过大数据平台分布式环境处理海量的各类数据的优势,来满足企业的业务分析;同时,大数据平台完整的可扩展能力,能够支撑企业后续的其他业务应用的需求, 以满足业务的迅速响应和资源的共享,并在符合数据访问规则的前提下,数据随时可见、可用,驱动业务带来增值。

  该案例大数据处理平台系统设计的整体逻辑架构如下:

  通过一期建设圆满实现了客户最初的要求与目的,将以前几十分钟才能出结果的查询与分析缩短到秒级。后续建设过程中还将通过对来自企业内外部及互联网上对相关产品的评论、用户行为等各方面数据进行处理、挖掘与分析展现,创建舆情分析、精准营销等相关业务应用,为企业在企划、营销和售后服务提供决策支持,帮助企业实现用户需求驱动的产品企划,提供根据细分用户市场的定向营销、销售和服务,并最终在市场中维持和扩大其领先优势。

方案优势 

  依托卓优数据的产品与完整方案,能够为客户提供以下的便利与优势: 

  灵活的计算平台 

   实现灵活的数据存储

   集成的数据仓库和分析

  线性可扩展性 

   将ETL转变为数据增强 

   支持变化范围极大的查询和分析工作负载 

   分析大规模、细粒度数据集 

   实现低延迟数据访问和决策制定

  遍布性、协作性用户体验 

   实现直观、遍布性的用户体验 

   充分利用协作特性 

   实现新的业务应用程序

关于大数据,您是否还存在这样的困惑: 

   大数据如何帮助我们提升业务? 

   大数据的风险有哪些? 

   大数据要花多少钱? 

   大数据建设能看到的效果? 

   如何评估大数据项目的回报?  

  卓优数据借助先进的解决方案与产品,多年的行业积累与最佳实践,通过完整的大数据实施路线图,将会帮助您逐次解开对大数据的困惑。期待在未来,能够与您一起携手并进、共同发现大数据的魅力与价值,从而在新一轮的变革抢占先机!

相关产品介绍(附)  

  Tips:Greenplum于2010年被EMC收购,Pivotal是由EMC和VMware两家公司于2013年共同出资组建,专注在大数据领域。

  Pivotal HD

  Pivotal HD可以简单地看做将Greenplum数据库的POSIX 文件系统替换成H a d o o p 分布式文件系统( H D F S ) , 在Greenplum数据库中所能做的所有操作,Pivotal HD都能够提供支持。同业界主流的Hadoop发行版相比,Pivotal HD能够处理更为广泛的大数据工作负载,并在性能方面得到显著的提升。HAWQ完全是由EMC和Greenplum团队自主研发的技术,它能够在Hadoop分布式文件系统中提供最纯粹的并行SQL处理。HAWQ也是Pivotal HD中最核心的技术。

  Greenplum 

  Greenplum 数据引擎是一种软件解决方案,旨在为新一代数据仓库和大规模分析处理功能提供支持。该产品根据“一切依赖商用”的原则为客户提供新式、分散、经济的大规模分析模型。Greenplum 采用了基于相关标准的方法,可以帮助客户创建数据仓库,它支持SQL和MapReduce并行处理功能,不仅具有业内最佳性能,而且充分利用低成本的商用服务器、存储和联网设备,通过经济的方式升级到千万亿字节的系统。

  其主要特点如下图:

 

 

 

  虚拟数据中心解决方案

 

  当今,全球数据量呈几何级数爆炸式的增长以及各行各业信息化应用的不断深入,正促使IT与客户业务的不断融合,同时也加快了传统数据中心不断进行升级、改造、完善的步伐,但即便这样,仍然无法满足客户业务飞速发展对IT信息化应用的诸多需求。传统的数据中心正面临一场巨大挑战,这些挑战主要来自以下几方面:


  因此,构建新一代数据中心势在必行。在即将到来的虚拟数据中心时代,新一代数据中心将被赋予虚拟化、绿色节能、灵活性、高可用、高连续性、模块化、自动化等诸多优势。

  新一代数据中心将要面对未来企业用户需求的多样性。作为企业的存储基础架构首先应该具有极高的安全性,试想如果存储系统产生问题如何为用户服务,存储中心还应该具有很强的功能弹性:可以实现集中的数据备份、冗灾、连接主机的多样性等等。

  数据中心的虚拟化将是今后乃至更长时间内的发展方向而且是必然趋势,而数据中心虚拟化将会实现业务的根本性变革,虚拟化可以大幅度提高组织中资源和应用程序的效率和可用性。在旧的“一台服务器一个应用程序”模式下,内部资源未得到充分利用,并且 IT 管理员将太多时间花在服务器管理上,而不是用于创新。借助在虚拟化平台基础上构建的自动化数据中心,能够以前所未有的速度和效率响应市场动态。虚拟化技术可以按需要随时将资源、应用程序甚至服务器分配到相应的位置。客户通过使用 虚拟化技术整合其资源池和实现计算机的高可用性,通常可以节省 50% 到 70% 的 IT 总成本,由此带来的好处如下:

  1. 提高现有资源的利用程度:通过服务器整合将共用的基础架构资源聚合在池中,打破原有的“一台服务器一个应用程序”模式。 

  2. 通过缩减物理基础架构和提高服务器/管理员比率,降低数据中心成本:由于服务器及相关 IT 硬件更少,因此减少了占地空间,也减少了电力和制冷需求。采用更出色的管理工具可以提高服务器/管理员比率,因此人员需求也得以减少。 

  3. 提高硬件和应用程序的可用性,进而提高业务连续性:可安全地备份和迁移整个虚拟环境而不会出现服务中断。消除计划内停机,并可从计划外故障中立即恢复。 

  4. 实现了运营灵活性:由于采用动态资源管理、加快了服务器部署并改进了桌面和应用程序部署,因此可响应市场的变化。 

  5. 提高桌面的可管理性和安全性:几乎可在所有标准台式机、笔记本电脑或 Tablet PC 上部署、管理和监视安全桌面环境,无论是否能连接到网络,用户都可以在本地或以远程方式对这种环境进行访问。

  随着数据中心服务器虚拟化普及的加快,用户发现随之而来的是传统的存储和网络并不能够很好的适应服务器虚拟化应用所带来的变化。存储虚拟化和网络虚拟化也随之成为数据中心整体虚拟化下一步工作的重点,同样也是数据中心相关厂商的未来关注重点。用户对数据中心整体虚拟化的要求,让未来数据中心必须具备高虚拟化率的服务器、高可用性的存储空间、高带宽低延迟的网络、整体易管理的特点。同时,虚拟化对数据中心用户的传统IT观念会带来巨大的改变。
    
  事实上,在数据中心的具体应用中,前端服务器的大规模虚拟化,必将对后端存储设备的带宽、数据存储能力和保护能力提出更高的要求。如何有效简化数据中心架构,在一个统一IT基础架构下将服务器、存储系统和网络的虚拟计算资源整合为一体?如何使IT成为一种服务让计算资源更好地满足不断变化的业务需求?如何让基于云的服务模式既安全可靠又灵活易用?这些都是当前各个存储厂商面临的重大问题。
     
  从长远来看,计算和存储的分工互相侵蚀,数据继续大量涌现,包括数据库模式,也会发生较大的变化。结构化数据、非结构化数据之外,半结构化数据也将在企业级数据中心中增多。随着存储介质的改变,数据库技术在未来必然会迎来一个新的发展需求。”正是数据中心用户这些需求改变,也让各个领域的厂商发生着改变。随着技术的发展深入,公司与公司的界限并不会太明晰。在数据中心走向大统一的时代里,厂商或是通过收购完善自身数据中心的产品解决方案、或是通过合作方式来完成。而EMC与VMware、Cisco组成的VCE联盟,虚拟计算环境VCE(Virtual Computing Environment)正是这个背景下的产物,而之所以会出现VCE,就是因为我们看到数据中心在走向大整合的时候,用户有需要一站式服务的需求,我们做的就是为用户提供一种选择的可能。对于联盟来说,并不存在着封闭性,由VCE联盟成立的公司Acadia也会跟系统集成商一起合作提供服务。并不是所有服务都由VCE来提供的,有些服务是通过系统集成商来提供的。同时,VCE觉得最根本的是要为客户更好,帮助减少客户的开支,减少附加程度,能够有一个一体式的解决方案,从而成为客户一个很好的选择。”

  方案说明:
 
  根据企业数据中心的实际需求情况,配置专门的PC-Server服务器或是Blade刀片服务器,在每台服务器或是刀片服务器上都安装配置VMware 企业版服务器虚拟化软件,用于在单个物理服务器实体上,生成多个虚拟服务器,在每个虚拟服务器上,再安装配置相关操作系统和应用软件,这样以前的每个物理服务器就变身成为VMware Infrastructure 服务器上的虚拟机,从而大大提高资源利用率,增强了系统和应用的可用性,提高系统的灵活性和快速响应,完美的实现了服务器虚拟架构的整合。

  而后端的核心SAN架构中,光纤通道磁盘阵列是SAN的核心设备,它为连接SAN的主机提供各自的磁盘存储区域;FC交换机是基于光纤通道SAN构架的基础,它提供主机到共享存储设备——光纤通道磁盘阵列的连接机制;HBA(主机总线适配器)卡用于将主机连接到光纤网络。

  在本技术方案中,我们提供SAN的配置是全冗余的,SAN的核心设备——光纤通道磁盘阵列其内部设计是高性能、无瓶颈的全光纤交换结构,其系统部件没有单点故障。除此之外,可以使用主机上的逻辑卷存储管理软件实现磁盘阵列LUN的镜像,体现在操作系统上的提供原来给数据库使用的生产卷(操作系统级别)组成互为热冗余的镜像对。然后把这个由不同的磁盘阵列设备提供的镜像保护的逻辑卷提供给数据库。从而为关键业务系统构造出一个具有高可用性的数据存储平台。这一平台上,万一SAN发生故障,将不影响内部系统所有主机的连续运行。


Vmware架构图示

  方案特点:

  1、高可用、高性能开放的存储和虚拟化平台
    通过创建企业虚拟化的基础架构,获得足以运行关键业务应用程序和服务的性能和可靠性,来构建一个快速响应的数据中心。通过 VMware 虚拟化提供高可用性、动态分配资源,以及实现应用程序和硬件管理自动化,在本方案架构中,通过共享的SAN存储架构,可以最大化的发挥虚拟架构的优势,进行在线地迁移正在运行的虚拟机(VMware VMotion),进行动态的资源管理(VMware DRS), 和集中的基于虚拟机快照技术的Lan Free的整合备份 (VMware VCB)等,而且为以后提供了扩展性。
  Symmetrix DMX结构采用直线式矩阵方式。利用其点对点连接可以完全消除其他设计方案所具有的总线仲裁和交换系统开销延迟,属于高性能、无瓶颈的全光纤交换结构

  2、灵活的SAN存储架构、简化系统升级和扩展:
  
  SAN存储平台可以通过增加磁盘数量或平滑升级,灵活方便地增加磁盘存储容量,允许同时存在不同容量规格和不同转速、不同接口的硬盘在同一阵列。

  3、实现完整的数据整合:
  
  DMX4盘阵今后在容量上需要扩充的话,只要增加磁盘即可。而若需增加主机,只要把增加的主机插入这个光纤交换机架构即可。这是EMC存储系统支持所有主机的多平台同时连接特性所特有的优点,也是投资保护的根本体现.

  4、架构级可用性和负载均衡的实现:
 
   服务器上配置EMC PowerPath软件可实现架构级可用性
  
  EMC TimeFinder 系列本地复制允许用户以无中断的方式创建和管理数据的时间点拷贝,以允许独立于源应用程序执行备份、报告和应用程序测试之类的操作过程,从而实现最高的服务级别而又不影响性能或可用性。

  本方案核心配置:
  
  数据中心核心存储:EMC DMX4盘阵
  
  本地数据复制和恢复软件:EMC TimeFinder软件
  
  数据中心虚拟化平台:VMware Infrastructure Enterprise企业版服务器虚拟化软件
  
  数据中心负载均衡软件:EMC PowerPath软件
  
  数据中心虚拟机:建议选择刀片服务器

 

  文档管理系统解决方案

 

  DM系统可以建立统一的文档/内容管理平台,把企业的各种文档都统一管理起来;建立好详细的分类,文档之间的关联,使得文档可以被快速的检索以及全文检索;管理好文档的生命周期,特别是管理好版本;对文档的阅读、修改、分发进行严格的权限控制,实现可控条件下的信息共享。

  同时考虑系统的建设,在非功能性需求上,系统需要安全、易用、稳定、易扩展、支持多种接口。参考下图:

 

  与其他应用系统、其他业务流程进行整合,完成企业内容的更有效管理及知识沉淀。 参考系统截图如下:

 

  高性价比的数据备份和容灾一体化解决方案

 

  概述

  随着信息技术的不断发展,计算机的存储信息量不断增长,数据备份变的越来越重要。因而,如何保护好计算机系统里存储的数据,保证系统稳定可靠地运行,并为业务系统提供快捷可靠的访问,是系统建设中最重要的问题之一。作为专注于数据安全和业务保障领域的数据安全方案提供者,卓优数据针对目前IT信息系统发展的现状,针对要求高可靠、高性价比的企业用户,采用华为赛门铁克Oceanspace系列存储产品和企业备份恢复领域处于领先的赛门铁克NetBackup平台,结合领先的重复数据消除技术,提供市场领先的数据备份解决方案。通过对软硬件产品的整合,致力于向客户提供完备的、智能的、易管理的数据保护解决方案,全面解决客户因新业务的增长而带来的数据保护难题。

  方案说明

  卓优数据针对目前企业客户复杂的IT应用特点,根据客户不同需求,定制客户备份策略,全面保护客户的应用,为客户业务系统的健康稳定运行,提供坚实的后盾。主要可以实现一下功能:

  集中管理功能

  企业的小型机、服务器,工作站等常常分布在多个地点,通过卓优数据的企业级备份方案,可以实现数据备份工作的远程集中管理和维护,并可以实现备份介质集中存放,自动管理,减少了管理维护的复杂度。

  支持多种组网架构

  企业客户的业务系统,组网都比较复杂,而且对备份窗口的要求不尽相同。卓优数据企业级备份方案可实现数据LAN-Base、LAN-Free等的备份方式,为不同的数据制定不同的备份方式,不仅满足客户对备份窗口的需求,而且降低了客户总体成本。

  全面保护客户数据

  保护主流的数据库以及其他常用IT应用;

  实现操作系统的快速的灾难恢复;

  从桌面应用到数据中心应用提供端到端的数据保护

  备份数据生命周期管理

  确保数据在合适时间存储在恰当的位置;

  将重要数据存储在磁盘上,而将不重要数据存储在磁带上;

  确保从磁盘中删除数据之前,已将数据迁移到磁带;

  利用生命周期策略自动执行数据管理

  方案特点

  卓优数据作为资深存储及数据安全解决方案提供商,针对要求高性价比的企业用户,提供了基于华为赛门铁克平台的软硬件结合的方案,提供包括备份服务器,软件,存储一体化的方案。通过预配置对产品进行打包,从而降低用户项目的管理风险,减少实施时间,为客户提供统一的服务;

  采用业界兼容性最好、成功应用案例最广泛的NetBackup数据保护软件,可以保护几乎所有的操作系统平台和数据库、应用;
提供最宽广的数据保护平台:在同一平台上可以提供包括备份、重复数据删除、连续数据保护等数据保护方案;

  基于磁盘的数据保护:除了传统磁带解决方案之外,NetBackup结合Oceanspace磁盘阵列等存储设备,使用磁盘来提供数据保护,充分发挥了磁盘在备份领域的优势。其中包括支持智能磁盘设备或环境中日常使用的现有磁盘。

  自动灾难恢复:借助Bare Metal Restore 进行自动的全面系统恢复,可以帮助确保在发生灾难时,服务器可以快速启动并恢复在线状态。对于异地磁带管理,NetBackup Vault Option 能够为异地保险库创建并管理磁带副本。

  全面恢复重要应用程序:确保能够全面恢复重要应用程序,如 Vmware、SAP、Exchange、SharePoint Portal Server。

  先进的数据保护:利用快照客户端执行低影响、高性能的备份和恢复。一整套基于快照的技术能够将重要应用程序瞬间恢复到任意时间点。

  数据安全:确保访问数据的人员身份和其访问级别,以及异地放置的磁带经过加密。

  几乎无限的可伸缩性:灵活的三层架构伸缩自如,可以满足当今对不断增长的数据中心需求。

  无可比拟的性能:由于文件只需备份一次,因此使用合成备份不但可以减少使用的网络带宽,而且可以降低对应用程序主机的影响。