10 未来信息综合技术 · 10.6 云计算和大数据技术
云计算和大数据技术
云计算的服务模式体系
云计算通过互联网提供可伸缩的、廉价的分布式计算能力。根据服务提供的资源层级,通常分为三个标准层次。下图展示了各层级的堆叠关系以及灵活性与方便性的权衡规律:
IaaS (基础设施即服务)
向用户提供计算机基础设施(如服务器、存储、网络等)的虚拟资源池。
- 核心特征:用户拥有对底层资源的最高控制权,能够部署和运行任意软件。
- 性能权衡:在三种模式中灵活性最高,但需要用户自行维护操作系统和中间件,因此方便性最低。
PaaS (平台即服务)
PaaS是云计算服务模式中最为关键的一层,在整个云计算体系中起着支撑的作用。
- 核心特征:为开发者提供应用开发、测试、部署和管理的运行环境,通常通过API进行调用。
- 管理职责:用户负责管理开发的应用程序,而云服务商负责维护服务器、网络和存储等底层架构。
SaaS (软件即服务)
通过互联网提供按需使用的软件应用。
- 访问方式:用户通常通过浏览器直接访问,无需在本地安装或维护软件。
- 性能权衡:用户只需关注软件功能使用,方便性最高,但由于无法干预底层配置,其灵活性最低。
在理解这三种模式时,需要注意的是控制权限与易用性之间的反向关系:控制的层级越底层,用户的操作空间和灵活性就越高,即 IaaS > PaaS > SaaS。
云计算的部署模式
根据基础设施的所有权、托管方以及服务对象的不同,云计算可分为四种部署模式。
公有云
基础设施由提供云计算服务的组织所有,面向公众或大型工业团体。其核心优势在于整合上下游产业链,提供成本低廉的服务。
私有云
基础设施专门为某一个组织服务,由该组织或第三方机构管理,可以位于组织内部或外部,具有极高的安全性。
社区云
社区云是公有云范畴内的一个组成部分。它由若干个具有共同关注点(如安全、政策、共同任务)的组织共享。
混合云
由两种或多种云模式(私有、社区、公有)组合而成。这些云通过标准或私有的技术实现数据的互操作,以平衡成本与安全性。
需要注意的是,社区云的划分标准不仅仅是物理地域上的聚集,更核心的判断依据是社区内用户需求的共性,如特定行业的合规性要求或共同的业务目标。
大数据的定义与特征
大数据不仅是数据的集合,更是一种处理庞大且复杂数据集的技术能力。大数据的特征可以整体概括为:海量+多样化+快速处理+价值。
| 定义维度 | 特征项 | 具体含义 |
|---|---|---|
| IBM 4V模型 | Volume (海量) | 数据体量巨大,从TB级别跃升到PB、EB甚至ZB级别。 |
| Variety (多样) | 数据类型繁多,包括结构化数据(数据库)和非结构化数据(视频、音频、日志)。 | |
| Velocity (快速) | 数据增长快,且要求处理速度快,强调时效性。 | |
| Value (价值) | 单位数据价值密度低,但通过海量数据的挖掘可产生巨大价值。 | |
| SAS 补充特征 | Variability (可变性) | 数据流的不一致性,例如社交媒体上的突发热点导致的数据峰值。 |
| Complexity (复杂性) | 数据源多样导致管理、关联、清理和转换的难度显著增加。 |
在实际应用中,Value(价值)往往是大数据的核心目标,但也是最容易被遗漏的潜藏特征。由于大数据通常伴随着大量的无关信息,如何从海量沙石中发现"黄金"是大数据技术的关键挑战。
大数据分析处理流程
大数据处理是一个从原始数据输入到决策价值输出的完整生命周期,如下图所示:
1. 数据获取与记录
从各类源头收集数据并存储。面临的挑战包括大规模数据的无损压缩、流式数据的实时采集以及元数据的追踪记录。
2. 信息抽取与清洗
将非结构化信息转换为结构化形式。核心难点在于处理异构数据,以及识别并过滤由于传感器故障、人为失误等产生的虚假数据。
3. 数据集成与聚集
将分散在不同源头的数据进行整合。主要涉及语义的统一与冲突处理,确保数据在同一维度下具有可比性。
4. 数据分析与建模
利用关联分析、数据挖掘和机器学习模型寻找规律。重点在于如何在大规模分布式架构下保证分析性能和模型精度。
5. 数据解释
将复杂的结果转化为用户可理解的语言。仅仅有能力分析大数据本身,而无法让用户理解分析结果,这样的效果价值不大。
容易混淆的是,数据解释阶段不仅包含结果的图形化呈现,还包括数据出处 (Provenance) 的追溯,即用户有权了解分析结果是如何产生的、涉及哪些原始数据以及经过了怎样的转换过程,以此建立对结论的信任。