西安土星网络科技有限公司

建设银行数据中心在“新一代”核心系统、“两地三中心”基础设施建设中，进行了一系列技术架构创新，提高了系统吞吐能力和资源供给效率，提升了系统可靠性，大大增强了数据中心风险防范水平。

以电子渠道为例，业务量从2012年每月21亿笔增加到2016年179亿笔，年均增长72%。2016 年“双十一”的核心业务系统交易峰值接近8000笔/秒，较2015年增长81%，所有系统均顺利应对业务高峰，充分验证了建行新一代系统架构的健壮性。

1、融合架构：主机平台+分布式开放平台

核心账务系统，部署在主机平台上

主机平台可用性高，运行稳定，适合作为银行核心系统运行平台，但也存在风险集中、处理能力瓶颈、敏捷性不够、价格昂贵等不足。

主机资源用于核心账务系统，利用开放平台处理查询业务或者普通维护性交易，采用削峰填谷的方法优化主机资源使用，确保账务交易的资源。

为了更好地利用主机资源，建设银行提出“主机+开放”的融合架构，确保“好钢用在刀刃上”。

查询系统，部署在分布式平台上

查询系统包括：个人客户综合积分、贷记卡管理、客户信息查询、对公/对私存款查询、客户渠道。

目前各类查询交易总计下移日均交易量1.4亿笔，节省主机资源2.6万MIPS，相当于8.22亿元。

查询系统与账务系统分离，既分散了系统风险，又提高了并发处理能力。

最近三年在实际业务量年均增长32%的情况下，主机MIPS资源零增长，取得了节省投资的良好效果。

在分布式开放平台上，X86服务器替代小型机

在开放平台的选择上，由于同等计算能力的X86服务器价格只有小型机的1/20，所以首先在新一代架构的应用（AP）层中大量采用X86服务器替代小型机，随着替代技术逐步成熟，继续提高在数据库（DB）层使用X86服务器的比例，进一步减少小型机的数量。

自新一代实施以来，应用层和数据库层部署的X86服务器替代小型机已累计节省12.2亿元。新一代实施前后，小型机占开放计算资源比例已从1/3逐步下降到1/12，计算资源的总体可靠性和可用性保持不降。

2、私有云，能提供1000台以上的虚拟机

建设银行自2013年起采用云计算技术来构建基础设施环境，将计算资源、存储资源、网络资源统一打包成共享资源池。

根据每种资源池的特点，采用不同的云部署单元（CDP）模型，构建了X86虚拟化资源池、Power虚拟化资源池、HP 资源池以及大数据资源池等。

以云部署单元为基本单位进行部署、更新和替换，统一了标准，提高了通用性，降低了成本。

目前已经在私有云环境中部署了1000台以上物理机，提供10000台以上虚拟机，有力地支撑了“新一代”核心系统上线。

3、网络架构：一网双平面，可靠性达到99.999%

新一代核心网络平台采用“一网双平面”的网络架构，用多协议标签交换技术，采用层次化、模块化的网络结构，将网络局部可靠性逐步提高到99.999% 水平，支持无中断维护。

新一代局域网通过推广柜顶接入架构，以虚拟端口聚合技术为基础，采用插入式服务架构来提高网络综合服务能力，接入层交换机使用板卡延伸技术，大规模标准化网络交换机配置。

通过采用“双平面”冗余设计避免逻辑单点，采用分散部署模式来分散整体性风险，逐步采用自动化变更手段杜绝操作失误。

采用松耦合的理念，模块化、层次化，网络服务资源池化，将二三层网络与四七层网络服务解除耦合关系，减少管理复杂度，有利于横向扩展，大幅提高数据中心网络平台的可靠性、健壮性。

4、安全：“多层水闸式”防范体系

原安全架构的安全功能与应用系统集成实现，嵌入到应用系统中，与应用系统紧密耦合，导致安全策略与安全功能固化。

“新一代安全架构”的应用系统只集成通用、标准化的安全代理，所有安全功能通过安全代理为应用系统提供，后台的安全服务可以统一调度、灵活组合，安全服务的调整不会导致业务系统的改造。

5、标准池化存储结构

NAS、SAN存储

SAN存储从应用（AP）层、数据库（DB）层混合部署转变为全数据库层部署，大面积在应用层使用NAS存储替代SAN存储。

打造“存储标准化”

实行存储配置标准化、资源池化，屏蔽了不同产品带来的差异化，减少了维护成本，同时实现了存储资源快速、灵活的供给。

采用庞大的“边缘—核心—边缘”三层SAN存储网络

实现了楼宇内任意地点的存储网络接入。

6、自主研发云管理平台

自主开发了全面自动化的云管理平台，先后实施了IT 基础设施的服务器安装、版本部署、服务启停、日常巡检、配置比对等一系列自动化工具，极大提升了数据中心运营管理的自动化水平，形成全生命周期的自动化管理模式，完美支持了应用项目以及相关IT 框架、平台、技术和安全组件的投产上线。

创造了5个工作日内交付上千台虚拟化服务器的行业纪录，在简化流程、提高效率的同时，有效控制了操作风险。

中国工商银行

中国工商银行数据中心（上海）

从2014年开始，工商银行就开始布局集中式和分布式架构体系，结合云计算、大数据等新技术手段，以架构优化为核心。

1、IT架构改变，来源于银行压力越来越大

一是，客户群体多样化增大

面对多样化、个性化、国际化的客户群体，银行信息系统需要支撑更加差异化、综合化的产品和服务，并满足国际化带来的监管要求。

二是，互联网类营销压力变大

客户服务不再依赖网点柜员，一些营销，特殊时点秒杀抢购等互联网营销带来的负载冲击，对银行信息系统架构提出了高并发、易扩展、抗冲击的高要求。

三是，网络安全压力变大

以APT 为代表的有针对性、持续性的网络攻击日益突出，银行信息系统需要实现从“被动防护”转向“主动防御”，提高对安全态势的感知能力，建设全方位的安全防护体系。

四是，出了故障，舆论压力变大

在依托移动互联网快速传播的“自媒体时代”，银行信息系统运行的任何故障都会被大众资讯无限放大，并直接影响银行服务的经营和品牌价值。

工商银行信息科技以建设云数据中心为目标，以“两地三中心”为核心，持续提升业务连续性运作管理水平。

2、“两地三中心”，让业务切换只需2分钟

工行于2014年初步建成了以上海外高桥园区和嘉定园区为同城双活中心、北京西三旗园区为异地灾备的“两地三中心”体系架构。

比如：

2016年末，人民银行领导现场观摩了工商银行数据中心的同城切换运行。

工行核心系统在业务高峰期间，由上海外高桥园区成功切换至嘉定园区，运行1个多小时后回切至外高桥园区，整个切换时间约2分钟，符合预期。

接管运行期间全集团各项业务正常开展，交易响应及系统运行性能良好。

亮点

自主设计研发了“一键式”自动化切换系统，具备了同城中心之间快速切换和接管业务负载的能力。

研发设计了“异地多点接入”和“同城双活”相结合的开放平台应用系统双活方案，在保障业务一致性的情况下实现站点间的灵活切换。

正在研究，重要应用系统的“多站点多活模式”

3、“云架构”真正落地

基础设施，资源池云化

基础设施云已经在工行数据中心逐步推广，实现了大规模计算、存储和网络资源的池化管理和弹性供给。

容器技术，实际在用

开展了基于容器技术的应用云平台规划和建设工作，已经在互联网金融、第三方支付、纪念币预约等应用系统实施了云化和微服务化改造，基于分布式系统框架实现资源弹性供应，快速响应业务突发增长需求，有效应对了“双十一”、“纪念币发行”、“微信红包”等互联网业务冲击。

采用“云化管理”

利用流数据平台对各环节负载数据进行引流分析，实时掌握主机、网络、应用、数据库各环节的负载压力和性能指标，通过动态调节资源配置，全流程保障快捷支付业务的服务需求。

4、拥抱SDN、开源产品

在数据中心部署SDN网络

全面启动了工商银行新一代网络架构的规划和落地

引入开源产品

通过开源软负载产品低成本、可扩展的优势，解决目前负载均衡技术领域存在的性能瓶颈和难以快速扩展问题。

5、安全管控，依然是重中之重

安全重点关注点有：互联网入侵防护、网络安全隔离与访问控制、客户端安全管理、数据安全管理等中高风险领域。

措施：

优化安全架构

重点推动APT攻击防护、云网络安全防护等方案落地，与现有外部攻击检测形成有效互动和互补。

加强数据分析和安全风险模型研究

通过研究科技与业务数据之间的关联关系，实施系统、网络、应用、业务等各环节日志分析挖掘，全面推动信息安全数据分析工作。

中国农业银行

中国农业银行数据中心