19 大数据架构设计理论与实践 · 19.1 大数据处理系统概述
大数据处理系统概述
传统数据处理系统的演进与瓶颈
随着互联网数据量的爆发式增长,传统数据处理架构在应对高并发和海量存储时,经历了多次修补式的演进。然而,在传统架构上进行继续挖掘被证明是挤牙膏,无法从根本上解决系统性的支撑问题。
下图展示了传统系统为了缓解压力而不断叠加复杂性的演进过程:
这种线性演进带来了严重的架构痛点。在阶段三和阶段四中,引入了数据库水平分区 (Sharding) 和 读写分离 (Master-Slave),这要求应用程序必须深度了解底层 Schema 和分区逻辑。当需要进行 Resharding(重新分片)时,数据迁移过程极其痛苦且运维复杂。此外,由于数据库本身无法自动处理分布式逻辑,且缺乏应对人为失误的容错设计,系统变得极度脆弱。
需要注意的是,增加异步队列缓冲虽然能缓解瞬时压力,但当写入速度持续超过处理速度时,瓶颈只是从数据库转移到了工作层,并未本质解决过载问题。
大数据处理系统面临的挑战
大数据环境下的处理需求远超传统系统的范畴,主要面临三大核心挑战:
- 非结构化数据处理:现实世界中约 85% 的数据是非结构化或半结构化的,传统的行列式存储难以高效承载。
- 复杂性与不确定性建模:需要多学科交叉技术,实现不同数据类型之间的转换与建模,以应对数据背后的逻辑复杂性。
- 异构性问题:包括数据本身的异构性以及由其引发的决策异构性。
在知识提取过程中,系统需经历从一次挖掘(提取粗糙知识)到二次挖掘(结合主观知识生成智能知识)的演变。从一次挖掘到二次挖掘,就类似于事物由量到质的飞跃,是实现数据价值的关键。容易混淆的是,一次挖掘的产物仅是粗糙知识,只有经过二次挖掘才能建立起数据与决策之间的桥梁,形成真正的智能决策支持。
大数据系统架构的八大特征
Nathan Marz 提出的架构理论为评估大数据系统提供了标准化维度。一个优秀的系统应具备以下核心属性:
鲁棒性与扩容原理
系统在复杂环境下的生存与扩展能力。
- 人为容错性:在分布式系统中,比机器容错性更加重要的容错性是人为操作容错性,系统必须能够应对 Bug 或误操作导致的数据污染。
- 横向扩容 (Scale out):大数据系统通过增加普通机器数量来提升性能,而非依赖提升单机性能的 Scale up 模式,这保证了成本的可控性。
运维与查询灵活性
降低使用门槛与后期维护成本。
- 即席查询 (Ad Hoc Queries):支持用户根据需求自定义查询,而不需要预先定义所有查询场景。
- 可调试性与最少维护:系统应能追踪每个值的产生过程。通过降低底层复杂度,避免陷入传统架构那种繁重的运维泥潭。
在性能指标方面,优秀的架构需实现毫秒到几百毫秒级别的低延迟读取和更新。同时,系统应具备良好的通用性(支持金融、社交等多场景)和延展性,确保在添加新功能或进行大规模数据迁移时,无需重构整体架构。