集中平台建设方案

目录

1. 2. 3. 4.

需求分析 ................................................................................................................................... 1 总体设计思路 ........................................................................................................................... 2 设计原则 ................................................................................................................................... 2 建设方案 ................................................................................................................................... 3 4.1. 总体设计 ....................................................................................................................... 3

4.1.1. 总体拓扑图(非虚拟化) .................................................................................... 3 4.1.2. 总体拓扑图(虚拟化) ........................................................................................ 4 4.2. 网络建设方案 ............................................................................................................... 5

4.2.1. 设计思路 ........................................................................................................... 5 4.2.2. 详细设计 ........................................................................................................... 6 4.2.3. 网络设备清单 ................................................................................................... 8 4.3. 服务器存储及备份系统建设方案 ............................................................................... 8

4.3.1. 设计思路 ........................................................................................................... 8 4.3.2. 数据库系统详细设计 ....................................................................................... 8 4.3.3. 应用系统详细设计(非虚拟化) ...................................................................... 10 4.3.4. 应用系统详细设计(虚拟化) .......................................................................... 11 4.3.5. 备份系统详细设计(虚拟化) .......................................................................... 13 4.3.6. 服务器存储设备清单 ..................................................................................... 14 4.4. 非虚拟化与虚拟化方案比较 ..................................................................................... 15

1. 需求分析

拟建设一个企业OA集中平台，主要需求如下：

1、 建设满足30个机柜服务器正常运行的机房，包含了接地、防雷、机房装修、机房空调、UPS以及机房环境监测系统等，搭建能够满足OA集中平台运行的环境。

2、 建设OA集中平台的硬件平台，包含网络平台和服务器平台，使之能够满足2000家企业的规模，并充分考虑今后业务开展起来后的可扩展性。 3、 建设企业OA集中平台的网络安全系统，使之能够抵御绝大多数网络黑客的攻击和病毒的破坏，保障OA集中平台安全稳定的运行。

4、 建设数据备份系统，并充分考虑恢复速度，确保数据的快速恢复和数据库的

安全。

2. 总体设计思路

在集中平台的建设中，将充分考虑今后业务的可扩展性，采用总体规划分步实施的方式进行设计。能够提供根据业务情况发展而相对应的完整的解决方案，整个系统具备安全性、稳定性、可靠性和冗余性。

机房装修方面，重点是UPS的选择，本方案中将采用模块化UPS，可以根据机房内设备的增加而添加模块，使其满足机房内设备的供电。

网络设计方面，除提供千兆接入以外，还需充分考虑网络安全，除了采用防火墙、主动防御、网络防病毒、增强操作人员安全防范意识等普通的安全防犯手段，还要求采用双链路冗余、双核心交换、网络出口设备冗余备份、应用安全审计、数据备份与容灾手段、数据传输加密等手段来保障网络的安全、稳定的运行。

服务器存储备份方面，则实现智能化备份系统，可实现对在线对所有数据进行定时自动备份，并且能把备份的数据恢复到指定目录库中，最终恢复的数据能正常使用。整体系统需要达到高性能、高稳定性和优异的扩展能力，伴随着系统存储容量的增加，所有数据能够有良好的保护机制，需要具备扩展能力，能够满足几年内用户和服务相应增长。

3. 设计原则

 规范性原则：

采用开放的技术标准和结构体系，支持拥护建立跨平台应用和不同系统之间的无缝连接。符合各项技术相关标准。  可靠性原则：

整个系统必须具备高度的稳定性和可靠性，提供充分的可靠性服务。系统运行稳定，故障率低，容错性强。  可用性原则：

采用成熟可靠的技术和设备，达到实用，经济和有效的结果，同时在进行设

计时，设备要有充分扩展升级能力。  可扩展性原则：

随着业务的发展，系统必须需要扩展和升级，充分利用前期的投资，以最小的代价进行系统的扩容升级，是在系统设计之初必须考虑的因素。既要在目前管理运行上是可行的，又要能适应将来的发展变化。

4. 建设方案

4.1. 总体设计

在集中平台的设计之中，可以从两个方面进行设计，一个为现在的主流设计，即采用物理服务器进行建设；另一个则采用虚拟化，即在物理机上使用虚拟化技术，实现资源的高可利用性。

4.1.1. 总体拓扑图(非虚拟化)

设计简介：

对数据库服务器，采用集群的方式进行建设，因为数据库数据均存在数据库磁盘阵列中，为此利用备份服务器的备份软件实现LAN-FREE备份，节省网络带宽，减少备份对数据库服务产生的网络性能影响。对于应用服务器，因为中间件服务器和前端应用服务器均不需要共享数据，为此应用服务器不需要接入存储中。而针对其备份则采用LAN备份方式实现数据备份。

4.1.2. 总体拓扑图(虚拟化)

设计简介：

对数据库服务器，采用集群的方式进行建设，因为数据库数据均存在数据库磁盘阵列中，为此利用备份服务器的备份软件实现LAN-FREE备份，节省网络带宽，减少备份对数据库服务产生的网络性能影响。对于应用服务器，因为中间件服务器和前端应用服务器均不需要共享数据，应用服务器可以不入存储中。但是因为要实现虚拟化的动态资源分配，提高整体资源利用率，需要将虚拟化的虚拟机文件均保存在共享的磁盘阵列上。为此通过磁盘阵列的iSCSI接口连接到IP-SAN交换机上，通过iSCSI-HBA卡或者网卡加载iSCSI驱动的方式，实现应用服务器物理机的IP-SAN连接。通过将磁盘阵列共享空间保存所有的虚拟机文件的方式，

实现虚拟化。而针对应用服务器的备份，因为物理机上仅只看到的虚拟机仅是一个文件， 且保存在磁盘阵列上，为此通过备份软件，通数据库一样，实现LAN-FREE的备份方式，减少备份时对网络资源的占用。

4.2. 网络建设方案 4.2.1. 设计思路

 网络设计范围：广域网设计、局域网设计、网络安全设计、应用平台设计、

数据存储与容灾设计。

集中平台的应用系统都布署于局域网内，因为企业的OA数据均在此网络内，所以对网络安全有着极其严格的要求。不仅要求采用防火墙、主动防御、网络防病毒、增强操作人员安全防范意识等普通的安全防犯手段，还要求采用双链路冗余、双核心交换、网络出口设备冗余备份、广域网链路备份、应用安全审计、数据备份与容灾手段等手段来保障局域网的安全、稳定的运行。

4.2.2. 详细设计

设计说明：

 广域网设计：

链路设计：当前的广域网拟采用1条50M专线作为本期的外网接口，但是考虑到接入的企业选用的INTERNET接入线路并不一定与集中平台是同一家电信运行商，而不同的电信运营商之间的数据交换都存在一定的瓶颈（及跨电信运营商访问时速度偏慢），为此建议采用多条链路接入。50M主链路保持不变，其他的则可以根据实际情况选用2M-10M不等的链路接入。这些链路不仅可以为不同的企业提供多种的接入环境，同时还可以与主链路之间实现互备的效果。即使因主链路电信运营商的接入故障，虽然从备份链路接入速度会稍慢，但是不会影响企业对OA集中平台的访问。

设备选型：本期广域网设备，我们推荐选用CISCO公司出品的7206路由器2台作为广域网的接入设备，通过HA设置，实现设备冗余设计和可靠性设计，利用其扩展板卡，能够接入多个电信运行商的网络，实现其扩展性设计。

 局域网设计：

因该平台为OA集中平台，其网络环境均为服务器接入，为此我们选择了2台cisco公司出品的S6509交换机作为整个集中平台的核心交换机，为服务器提供网络接入。配置双引擎和双电源，实现单机的硬件冗余，而S6509最多可以扩展到380个以上的千兆接口，能够满足机房内30个机柜的接入需求。同时其最多还可以扩展到32个万兆接口，即使今后的随着服务器的增加，380个千兆接口无法满足接入需求，还可以通过万兆接口与扩展的服务器交换机相连，利用万兆链路，实现其接入端口的扩展，完全能够满足今后的业务扩展需求。另外，CISCO S6509还是模块化设计，可以根据业务的发展选购不同的接口板，满足总体规划分步实施的要求。  网络负载设计：

因为集中平台最终的规模将达到2000家左右的企业同时使用，将采用统一登录的方式实现系统登入，为此其门户网站的负载压力将非常巨大，为此我们本期考虑到系统的实际应用，选用了F5公司出品负载均衡专用的BIG-IP-LTM+LC的负载均衡器。将多台门户网站服务器整合为一台虚拟服务器对外提供服务，利用其对流量和内容进行管理的分配，充分利用所有的服务器资源，将所有流量均衡的分配到各个服务器。它提供12种灵活的算法将数据流有效地转发到它所连接的服务器群，从而实现负载均衡。  网络安全设计：

网路安全是本期网络设计需要重点考虑的地方之一，本期选用了2台CISCO ASA5520设备 IPS 版套件 (AIP-SSM-20模块、防火墙服务、750路 IPSec VPN，2路 SSL VPN，4个千兆以太网接口，1个快速以太网接口)构筑防御外部攻击的堡垒，通过防火墙隔绝大部分的黑客攻击，同时利用IPS的主动防御技术，即使是新出现的攻击，不在防火墙的阻截范围内，通过IPS的智能分析系统，实时阻断其连接，保护内部的数据，此外IPS的L2-L7层深度检测，即使网络病毒采用拆分入侵方式，利用IPS的智能分析系统也能够实时阻断入侵。在内部网络中，因为是采用PC-Server搭建的服务器平台，为此将选购一套网络版防病毒软件实时检测各服务器系统，尽量减少病毒的入侵。

4.2.3. 网络设备清单

序号 1 2 3 4 5 名称 路由器 防火墙 配置 数量 CISCO R7206（2个外网接口，2个内网接口） 2 2 ASA5520 IPS版套件 2 2 1套 负载均衡器 F5 BIG-IP 3400 LTM +LC 核心交换机 CISCO S6509(双引擎、双电源、1块48口千兆电接口板) 防病毒软件 Symentec网络版防病毒软件（1控制端+99客户端） 4.3. 服务器存储及备份系统建设方案 4.3.1. 设计思路

对服务器存储和备份系统，将主要分作3个部分进行建设，即数据库部分、应用系统（含虚拟化）部分和备份部分

4.3.2. 数据库系统详细设计

设计说明：

 总体上：

在数据库上，因为各种平台所使用的数据库并不一致，本期按照每一种数据库分别配置数据库服务器进行设计。所有的数据库服务器均采用IBM的X3850X5服务器，配置4颗8核cpu、64GB内存，2块8GB FC-HBA卡，2块300G/15K转硬盘，冗余电源冗余风扇，硬盘通过板载RAID控制器，做RAID1，实现对本机硬盘的保护。

配置1台DS3950(1814-98H)全光纤磁盘阵列，配置双主控，16块600GB/15k光纤硬盘，主机带8GB FC接口和1GB iSCSI接口。通过服务器光纤HBA卡、光纤交换机、磁盘阵列实现FC-SAN的基础架构。通过数据库服务器集群设置实现高可靠性和数据库服务的负载均衡。

利用1台2C服务器X3650M3作为备份服务器，通过备份软件制定的备份规则，实现全自动备份。另外，为了提高系统备份的读写速度，减少恢复花费的时间，在带库上采用了虚拟带库技术，以提高其读写速度。  Oracle数据库：

Oracle数据库可以采用RAC方式实现负载均衡，随着集中平台用户的增加，当oracle数据库服务性能无法满足要求时，可以有2种方式进行扩张，其一是再采购X3850X5，与原有的X3850X5服务器进行并机，这样每台服务器可以扩展到8颗CPU，内存也能相应增加；其二是利用oracle的rac技术，新增加oracle服务节点，利用rac的负载均衡实现性能的增加。为此本期选择的oracle数据库服务器完全能够满足将来的业务扩展需求。  SQL Server数据库：

SQL Server数据库是微软的数据库平台，利用微软企业版操作系统的MSCS集群，实现SQL Server数据库的集群设计同时只有1个节点活跃，为此仅能通过扩展服务器的配置来实现其服务性能的扩展。  DB2数据库：

DB2数据库同ORACLE数据库相类似，其也有一个可动态扩展的集群系统实现负载均衡，为此当DB2数据库服务性能不能满足应用时，可以通过增加服务器性能或者新加节点的方式实现服务性能的扩展。

4.3.3. 应用系统详细设计(非虚拟化)

设计说明：

因为中间件服务器和应用服务器均没有共享数据，为此可以不用接到磁盘阵列上。针对中间件，因为中间件服务器主要目的就是为了加快前端服务器访问数据库的速度，同时也起到一定的保护数据库服务器的作用，为此可以对中间件服务器进行负载均衡设计，以提高系统的读写速度，提升系统性能。

对前端的应用服务器，则直接安装前台应用程序，对不会产生互相干扰的应用原则上可以安装在一台物理机上，或者安装在几台物理机上，通过服务的手动开启和关闭，实现前端应用服务的冷备份。而针对会对其他应用产生干扰的前端服务，则采用1+1冷备份的方式，即相同的服务安装在两台服务器上，设置相同的IP地址，但是仅将一台服务器接入到网络中，另外一台作为冷备份。当服务器发生故障时，手动的将故障机从网络中移除，接入将冷备份的服务器接入网络中，继续提供服务。通过以上的方式，实现前端应用的灾备，缩短因服务器故障导致的对外服务中断时间。

针对备份，则只能采取LAN备份的方式，即应用服务器上需要备份数据均通过网络传输到备份服务器上，再有备份服务器写入到虚拟带库中。因为应用服务也运行在网络中，备份时将会占用一定量的网络资源，为此在制定备份方案时就

需要采取避开应用高峰的办法来保证系统的性能。

应用服务器均采用2U的IBM x3650M3机架式服务器，配置：2颗cpu，16G内存,4块300G SAS硬盘，配置RAID卡，整机做RAID5，减少硬盘的单点故障，双电源，双网卡，DVD光驱。

4.3.4. 应用系统详细设计(虚拟化)

设计说明：  总体设计：

应用系统服务器包含中间件服务器和前端应用服务器，因为各系统之间均不涉及到共享数据，为此可以将其纳入VMware的虚拟架构中进行建设。本期将采用vmware虚拟化技术实现应用系统的建设。所有的数据库服务器均采用IBM的X3850X5服务器，配置4颗8核cpu、128GB内存，2块1GB iSCSI-HBA卡，2块300G/15K转硬盘，冗余电源冗余风扇，硬盘通过板载RAID控制器，做RAID1，实现对本机硬盘的保护。磁盘阵列则采用数据库服务器的存储，通过其上配置的iSCSI接口，连接到IP-SAN交换机上。通过服务器iSCSI HBA卡（或夹在iSCSI驱动的网卡）、IP-SAN交换机、iSCSI磁盘阵列实现IP-SAN的基础架构，以实现VMware的动态资源分配，实现服务器资源的最大化利

用。  虚拟化实现

本期配置了6台IBM X3850X5服务器，在每台服务器上都安装VMware虚拟架构ESX套件，用于在每台X3850X5物理服务器实体上，利用X3850X5服务器强大的处理能力和内存扩展能力，生成多个虚拟服务器，而每一个虚拟服务器，从功能、性能和操作方式上，等同于传统的单台物理服务器。每个虚拟服务器上，安装配置操作系统，进而再安装应用软件，实现从物理服务器到虚拟机的变身，从而大大提高资源利用率，降低成本，增强了系统和应用的可用性，提高系统的灵活性和快速响应，完美的实现了服务器虚拟架构的整合。  资源动态调配实现

为了实现数据的集中存储、集中备份以及充分利用VMware虚拟架构中虚拟机可动态在线从一台物理服务器迁移到另一台物理服务器上的特性等，本期配置了一套具有冗余性的IP-SAN集中存储系统，由VMware虚拟架构套件生产出来的虚拟机的封装文件都存放在IP-SAN存储阵列上。通过共享的SAN存储架构，可以最大化的发挥虚拟化架构的优势，进行在线的迁移正在运行的虚拟机，进行动态的资源管理，集中基于虚拟机快照技术的LAN Free的整合备份，为今后的冗灾提供扩展性并打下基础。此外，每一台虚拟服务器都可以利用VMware虚拟对称式多重处理（SMP）技术，通过使单个虚拟机能够同时使用多个物理处理器。同时，利用虚拟架构软件也可以将虚拟服务器进行资源的重新分配，将此时用不到的资源又可以被其他更需要资源的应用临时借用过去，最大限度的提高了整体系统的资源利用率。  虚拟化管理实现

为了集中管理和监控虚拟机、实现自动化以及简化资源调配，配置一台2C服务器X3650M3安装windows操作系统，用于安装Virtual Center软件，对这6台物理服务器及其上的虚拟服务器进行统一的管理,为IT环境提供集中化管理、操作自动化、资源优化和高可用性。

4.3.5. 备份系统详细设计(虚拟化)

设计说明：

本期中，数据的备份和恢复是需要重点考虑的地方之一，为此，我们选用IBM NS3400磁盘阵列作为虚拟带库的磁盘阵列（配置：单控制器，16块1TB/7.2k的SATA硬盘，随着应用扩展，最多可以接入136块SATA硬盘，最大存储空间达到136TB）。其提供了iSCSI和FC接口，分别连接到光纤交换机和IP-SAN交换机上，而备份服务器则通过FC-HBA卡和iSCSI驱动的网卡分别连接到光纤交换机和IP-SAN交换机，实现备份服务器与虚拟带库的互联。利用备份软件实现基于LAN-FREE的备份机制。

针对应用服务器，因为采用了虚拟化技术，在物理服务器上看来，一个虚拟机仅仅是一个文件，为此仅需要将此虚拟机文件进行备份即备份了整个虚拟机。为此仅需要采用文件备份即可。同时，因为其虚拟机文件是存放在IP-SAN磁盘阵列上的，为此实现了LAN-FREE备份。

针对数据库服务器，因为其均为物理机，数据库中的数据均存在磁盘阵列中，安装备份软件中数据库代理就可实现数据库的LAN-FREE备份。

4.3.6. 服务器存储设备清单

非虚拟化设备清单

序号 名称 1 配置 数量 SAS/2*8GB 6台 数据库服X3850X5(4*2.26(8c)/64G/2*300G 务器 FC-HBA/2*10/100/1000Bast-T/双电源) 16台 2 应用服务X3650M3 器 （2C/16G/4*146G/RAID 5/2*10/100/1000Bast-T/双电源） 3 备份服务X3650M3器 （2C/8G/2*146G/2*8GB FC-HBA 1台 /2*10/100/1000 Bast-T/双电源） 1台 4 防病毒服X3650M3 务器 （2C/8G/2*146G/2*10/100/1000Bast-T/双电源） 5 6 7 磁盘阵列 DS3950(1814-98H)（双主控，16*600GB FC-HDD） 1台 虚拟带库 DS3400（单主控，16*1TB SATA-HDD） FC交换机 B24(16口激活) 1台 2台 虚拟化设备清单

序号 名称 1 配置 数量 SAS/2*8GB 6台 数据库服X3850X5(4*2.26(8c)/64G/2*300G 务器 FC-HBA/2*10/100/1000Bast-T/双电源) SAS/2*1GB 6台 2 应用服务X3850X5(4*2.26(8c)/128G/2*300G 器 iSCSI-HBA/2*10/100/1000Bast-T/双电源) 1台 3 管理服务X3650M3 器 （2C/8G/2*146G/4*10/100/1000Bast-T/双电源） （2C/8G/2*146G/2*8GB 4 备份服务X3650M3器 FC-HBA 1台 /4*10/100/1000 Bast-T/双电源） 1台 5 防病毒服X3650M3 务器 （2C/8G/2*146G/2*10/100/1000Bast-T/双电源） 6 7 8 9 10 磁盘阵列 DS3950(1814-98H)（双主控，16*600GB FC-HDD） 1台 虚拟带库 DS3400（单主控，16*1TB SATA-HDD） FC交换机 B24(16口激活) IP交换机 全千兆48*10/100/1000Bast-T交换机 VMware VMware4.0ESX企业版 1台 2台 2台 1套 4.4. 非虚拟化与虚拟化方案比较

总体来看，非虚拟化方案在管理上比较直观，但是随着应用的增加，一部分服务器的性能可能无法满足需求，需要进行扩容，但是另一部分的服务器，因为应用少，其资源可能闲置，造成浪费。而虚拟化的方案则可以有效的避免此问题，通过在线的资源调配，按需分配资源，实现资源利用的最大化。同时虚拟化方案中，服务器的数量会较少，对电力资源的消耗也会减少。为此，推荐采用虚拟化方案。