跃界星图

19 大数据架构设计理论与实践 · 19.1 大数据处理系统概述

大数据处理系统概述

重要度:★ 建议学习 300 分钟 软考学习笔记

传统数据处理系统的演进与瓶颈

随着互联网数据量的爆发式增长,传统数据处理架构在应对高并发和海量存储时,经历了多次修补式的演进。然而,在传统架构上进行继续挖掘被证明是挤牙膏,无法从根本上解决系统性的支撑问题。

下图展示了传统系统为了缓解压力而不断叠加复杂性的演进过程:

传统数据系统架构演进路径 为了应对数据增长,传统架构不断叠加补丁,导致系统复杂度不可控 解决响应超时 解决写入瓶颈 解决读写混合压力 最终结果 解决响应超时 解决写入瓶颈 解决读写混合压力 最终结果 直接访问数据库 增加异步队列缓冲 数据库水平分区 (Sharding) 读写分离 (Master-Slave) 系统极度复杂/维护困难 演进阶段 最终状态

这种线性演进带来了严重的架构痛点。在阶段三和阶段四中,引入了数据库水平分区 (Sharding) 和 读写分离 (Master-Slave),这要求应用程序必须深度了解底层 Schema 和分区逻辑。当需要进行 Resharding(重新分片)时,数据迁移过程极其痛苦且运维复杂。此外,由于数据库本身无法自动处理分布式逻辑,且缺乏应对人为失误的容错设计,系统变得极度脆弱。

需要注意的是,增加异步队列缓冲虽然能缓解瞬时压力,但当写入速度持续超过处理速度时,瓶颈只是从数据库转移到了工作层,并未本质解决过载问题。

大数据处理系统面临的挑战

大数据环境下的处理需求远超传统系统的范畴,主要面临三大核心挑战:

  • 非结构化数据处理:现实世界中约 85% 的数据是非结构化或半结构化的,传统的行列式存储难以高效承载。
  • 复杂性与不确定性建模:需要多学科交叉技术,实现不同数据类型之间的转换与建模,以应对数据背后的逻辑复杂性。
  • 异构性问题:包括数据本身的异构性以及由其引发的决策异构性。

在知识提取过程中,系统需经历从一次挖掘(提取粗糙知识)到二次挖掘(结合主观知识生成智能知识)的演变。从一次挖掘到二次挖掘,就类似于事物由量到质的飞跃,是实现数据价值的关键。容易混淆的是,一次挖掘的产物仅是粗糙知识,只有经过二次挖掘才能建立起数据与决策之间的桥梁,形成真正的智能决策支持。

大数据系统架构的八大特征

Nathan Marz 提出的架构理论为评估大数据系统提供了标准化维度。一个优秀的系统应具备以下核心属性:

大数据系统架构八大特征 Nathan Marz 定义的大数据系统核心属性:鲁棒性、低延迟、横向扩容、通用性、延展性、即席查询、最少维护、可调试性 大数据系统 延展性 即席查询 最少维护 可调试性 鲁棒性与容错 低延迟读写 横向扩容 通用性 核心系统 系统属性

鲁棒性与扩容原理

系统在复杂环境下的生存与扩展能力。

  • 人为容错性:在分布式系统中,比机器容错性更加重要的容错性是人为操作容错性,系统必须能够应对 Bug 或误操作导致的数据污染。
  • 横向扩容 (Scale out):大数据系统通过增加普通机器数量来提升性能,而非依赖提升单机性能的 Scale up 模式,这保证了成本的可控性。

运维与查询灵活性

降低使用门槛与后期维护成本。

  • 即席查询 (Ad Hoc Queries):支持用户根据需求自定义查询,而不需要预先定义所有查询场景。
  • 可调试性与最少维护:系统应能追踪每个值的产生过程。通过降低底层复杂度,避免陷入传统架构那种繁重的运维泥潭。

在性能指标方面,优秀的架构需实现毫秒到几百毫秒级别的低延迟读取和更新。同时,系统应具备良好的通用性(支持金融、社交等多场景)和延展性,确保在添加新功能或进行大规模数据迁移时,无需重构整体架构。

本页内容由 跃界星图软考学习库 整理,仅供个人备考学习。