跃界星图

10 未来信息综合技术 · 10.6 云计算和大数据技术

云计算和大数据技术

重要度:★★★ 建议学习 300 分钟 软考学习笔记

云计算的服务模式体系

云计算通过互联网提供可伸缩的、廉价的分布式计算能力。根据服务提供的资源层级,通常分为三个标准层次。下图展示了各层级的堆叠关系以及灵活性与方便性的权衡规律:

云计算服务模式层级与特性对比 自下而上展示IaaS、PaaS、SaaS的层级,并标注灵活性与方便性的变化趋势 灵活性 最高 最低 方便性 最高 最低 SaaS (软件即服务) 方便性最高 / 灵活性最低 PaaS (平台即服务) 关键支撑层 / 提供API IaaS (基础设施即服务) 灵活性最高 / 方便性最低 SaaS层 PaaS层 IaaS层

IaaS (基础设施即服务)

向用户提供计算机基础设施(如服务器、存储、网络等)的虚拟资源池。

  • 核心特征:用户拥有对底层资源的最高控制权,能够部署和运行任意软件。
  • 性能权衡:在三种模式中灵活性最高,但需要用户自行维护操作系统和中间件,因此方便性最低。

PaaS (平台即服务)

PaaS是云计算服务模式中最为关键的一层,在整个云计算体系中起着支撑的作用。

  • 核心特征:为开发者提供应用开发、测试、部署和管理的运行环境,通常通过API进行调用。
  • 管理职责:用户负责管理开发的应用程序,而云服务商负责维护服务器、网络和存储等底层架构。

SaaS (软件即服务)

通过互联网提供按需使用的软件应用。

  • 访问方式:用户通常通过浏览器直接访问,无需在本地安装或维护软件。
  • 性能权衡:用户只需关注软件功能使用,方便性最高,但由于无法干预底层配置,其灵活性最低。

在理解这三种模式时,需要注意的是控制权限与易用性之间的反向关系:控制的层级越底层,用户的操作空间和灵活性就越高,即 IaaS > PaaS > SaaS。

云计算的部署模式

根据基础设施的所有权、托管方以及服务对象的不同,云计算可分为四种部署模式。

公有云

基础设施由提供云计算服务的组织所有,面向公众或大型工业团体。其核心优势在于整合上下游产业链,提供成本低廉的服务。

私有云

基础设施专门为某一个组织服务,由该组织或第三方机构管理,可以位于组织内部或外部,具有极高的安全性。

社区云

社区云是公有云范畴内的一个组成部分。它由若干个具有共同关注点(如安全、政策、共同任务)的组织共享。

混合云

由两种或多种云模式(私有、社区、公有)组合而成。这些云通过标准或私有的技术实现数据的互操作,以平衡成本与安全性。

需要注意的是,社区云的划分标准不仅仅是物理地域上的聚集,更核心的判断依据是社区内用户需求的共性,如特定行业的合规性要求或共同的业务目标。

大数据的定义与特征

大数据不仅是数据的集合,更是一种处理庞大且复杂数据集的技术能力。大数据的特征可以整体概括为:海量+多样化+快速处理+价值。

定义维度 特征项 具体含义
IBM 4V模型 Volume (海量) 数据体量巨大,从TB级别跃升到PB、EB甚至ZB级别。
Variety (多样) 数据类型繁多,包括结构化数据(数据库)和非结构化数据(视频、音频、日志)。
Velocity (快速) 数据增长快,且要求处理速度快,强调时效性。
Value (价值) 单位数据价值密度低,但通过海量数据的挖掘可产生巨大价值。
SAS 补充特征 Variability (可变性) 数据流的不一致性,例如社交媒体上的突发热点导致的数据峰值。
Complexity (复杂性) 数据源多样导致管理、关联、清理和转换的难度显著增加。

在实际应用中,Value(价值)往往是大数据的核心目标,但也是最容易被遗漏的潜藏特征。由于大数据通常伴随着大量的无关信息,如何从海量沙石中发现"黄金"是大数据技术的关键挑战。

大数据分析处理流程

大数据处理是一个从原始数据输入到决策价值输出的完整生命周期,如下图所示:

大数据分析处理的五个阶段 展示大数据处理的全生命周期步骤,从数据获取到最终解释 原始数据 结构化 整合后 分析结果 原始数据 结构化 整合后 分析结果 1. 数据获取/记录 2. 信息抽取/清洗 3. 数据集成/聚集 4. 数据分析/建模 5. 数据解释 处理步骤 最终解释 数据流向

1. 数据获取与记录

从各类源头收集数据并存储。面临的挑战包括大规模数据的无损压缩、流式数据的实时采集以及元数据的追踪记录。

2. 信息抽取与清洗

将非结构化信息转换为结构化形式。核心难点在于处理异构数据,以及识别并过滤由于传感器故障、人为失误等产生的虚假数据。

3. 数据集成与聚集

将分散在不同源头的数据进行整合。主要涉及语义的统一与冲突处理,确保数据在同一维度下具有可比性。

4. 数据分析与建模

利用关联分析、数据挖掘和机器学习模型寻找规律。重点在于如何在大规模分布式架构下保证分析性能和模型精度。

5. 数据解释

将复杂的结果转化为用户可理解的语言。仅仅有能力分析大数据本身,而无法让用户理解分析结果,这样的效果价值不大。

容易混淆的是,数据解释阶段不仅包含结果的图形化呈现,还包括数据出处 (Provenance) 的追溯,即用户有权了解分析结果是如何产生的、涉及哪些原始数据以及经过了怎样的转换过程,以此建立对结论的信任。

本页内容由 跃界星图软考学习库 整理,仅供个人备考学习。