关键技术

说明

云计算

1

虚拟化技术

是一种资源管理技术，是将计算机的实体资源（CPU、内存、磁盘等）予以抽象、转换后呈现出来，并可供分割、组合为一个或多个电脑配置环境。

系统虚拟化

将一台物理计算机系统虚拟化为一台或多台虚拟计算机系统。每台虚拟机被称为虚拟机监控器（Virtual Machine Monitor, VMM）

三类结构：Hypervisor模型、宿主模型和混合模型。

（1）Hypervisor模型：VMM视为虚拟化操作系统，对下提供物理资源管理，对上提供虚拟环境的创建和管理功能。

（2）宿主模型：VMM作为宿主操作系统的独立内核模块提供虚拟化管理，物理资源由宿主机操作系统管理。

（3）混合模型：CPU和内存的虚拟化由VMM负责，而I/O虚拟化由VMM和特权操作系统共同合作完成。

Hypervisor模型虚拟化效率高、安全，但需自行开发设备驱动和其他功能。

宿主模型可以充分利用现有系统设备驱动程序及其他功能，缺点是虚拟化效率较低，安全性取决于宿主操作系统。

混合模型集成上述模型优点。VMM让出大部分I/O设备控制权，交由特权操作系统控制。

2

分布式数据存储

包含非结构化数据存储和结构化数据存储。

（1）非结构化数据存储：采用文件存储和对象存储技术，

（2）结构化数据存储：采用分布式数据库技术，特别是NoSQL数据库

（1）分布式文件系统：为了存储和管理云计算中的海量数据，Google提出分布式文件系统GFS （Google File System） , Apache Hadoop项目的HDFS实现了 GFS的开源版本。

GFS/HDFS非常适于进行以大文件形式存储的海量数据的井行处理。

Google GFS是一个大规模分布式文件存储系统。

（1）多副本自动复制技术

（2）元数据和用户数据分开

（3）利用分布式文件系统中数据位置相关性进行高效并行计算

（2）分布式对象存储：是传统块设备的延伸：上层通过对象ID来访问对象，不需要了解对象的具体空间分布情况。

Amazon的S3就属于对象存储服务。基于REST接口访问，按照用量和流量计费

（1）仅提供基于对象的简洁API接口，语义无歧义

（2）对象分布平坦，管理灵活；同时支持平坦空间和树状逻辑结构等。

（3）分布式数据库管理系统

NoSQL数据库是云计算重要的结构化数据存储技术。

（1）Google的BigTable：数据以"列族”为单位组织，通过单一键值作为索引，数据和数据操作被分布到多个结点进行。

（2）Apache HBase使用和BigTable类似结构，基于Hadoop平台提供BigTable的数据模型。

（3）Cassandra采用亚马逊Dynamo基于DHT的完全分布式结构，实现更好的可扩展性。

3

并行计算

云计算下把海量数据分布到多个结点上，将计算并行化，利用多机的计算资源，加快数据处理的速度。

Google的MapReduce模型就是面向互联网数据密集型应用的并行编程模型。

并行处理关键问题：任务划分、任务调度和自动容错处理机制

（1）任务划分：

数据无依赖：每任务只处理部分结点数据，海量并行处理；

数据有依赖：复杂计算转化为一系列单个Map/Reduce计算，串联起来完成多个任务

（2）任务调度

将存储和计算资源部署在相同结点上，优先把计算任务调度到数据所在结点或者就近结点，本地读取减少带宽消耗；执行慢的子任务采用备用任务机制，在Map/Reduce操作接近完成时执行

（3）自动容错处理机制：MapReduce采用任务重做方式来处理结点失效（简单、代价大）

4

运营支撑管理

对数以万计的云计算支撑服务器进行稳定高效的运营管理。

（1）负载管理和监控

单结点粒度：实时监控集群中每个结点的负载状态，报告负载异常和结点故障，采取既定预案。

集群整体粒度：对单结点、单子系统信息进行汇总和计算，近乎实时得到集群整体负载和监控信息，提供决策。

与传统集群负载管理和监控相比：

（1）以应用为粒度，汇总和计算其负载和监控信息，进行负载管理；

（2）为用户提供监控信息的展示和查询，需要高性能数据流分析处理平台的支持。

（2）计量计费

商业运营模式：采取按量计费的收费方式，需要精确的服务计量（每应用资源）。

资源衡量维度：应用流量、外部请求响应次数、CPU时间、存储空间、内部服务API调用次数等。

服务计量子系统：独立于具体应用服务，统计和计算每个应用在一定时间点的资源使用情况。

计费子系统：选取若干合适的计量维度组合，制定相应的计费策略。还产生可供审计和查询的计费数据。