19 大数据架构设计理论与实践 · 19.2 典型的大数据架构
Lambda架构
重要度:★
建议学习 300 分钟
软考学习笔记
Lambda 架构概述
Lambda 架构由 Storm 的作者 Nathan Marz 提出,是一种旨在处理海量数据的分布式系统架构。该架构通过整合离线计算与实时计算,实现了对大规模数据处理的高容错性、低延迟和可扩展性。
其核心设计原则在于融合了不可变性(Immutability)、读写分离和复杂性隔离。系统并不尝试构建一个复杂的、能够实时更新的全局数据库,而是追求最终精度(Eventual Accuracy):即通过离线层的精确校正来弥补实时层可能产生的近似误差。需要注意的是,Lambda 架构并非仅仅为了实时计算而生,它的精髓在于离线与实时两者的有机结合。
三层体系结构
Lambda 架构将数据处理流程划分为三个逻辑层,新数据进入系统后会同时分发到批处理层和加速层。如下图所示,这种双路并行的设计确保了数据处理的全面性与时效性:
Lambda 架构数据处理流程
数据进入系统后被分发到批处理层和加速层,最终在服务层合并供查询
归档/全量
实时/增量
Batch View
Real-time View
合并结果
新数据 (New Data)
批处理层 (Batch Layer)
加速层 (Speed Layer)
服务层 (Serving Layer)
查询结果 (Query)
归档/全量
实时/增量
Batch View
Real-time View
合并结果
主节点
次节点
批处理流
实时流
在实际运作中,容易混淆的是两层的数据源:批处理层处理的是全量的主数据集,而加速层仅处理自上次批处理窗口以来的增量数据流。
核心层级功能深度解析
批处理层 (Batch Layer)
负责存储主数据集并预计算批处理视图。
- 主数据集属性:数据必须满足原始、不可变、真实三个属性。在 Lambda 架构中,主数据集不会像传统数据库那样被执行 Update 操作,而是通过 Append(追加) 的方式存储。
- Monoid 特性:计算函数通常具有 Monoid 特性(满足结合律),这使得系统能够支持大规模并行运算并实现结果的共享与重用。
加速层与服务层
负责补偿批处理层的延迟并提供查询接口。
- 加速层 (Speed Layer):为了追求低延迟,该层常采用近似计算。关键在于加速层的数据在处理完并进入批处理层后即可丢弃,它只负责填补批处理视图尚未覆盖的时间窗口。
- 服务层 (Serving Layer):负责合并 Batch View(批处理视图)与 Real-time View(实时视图)中的结果,以响应用户的即时查询。
技术实现与组件映射
Lambda 架构的每一层都有其特定的技术选型,以满足不同的计算与存储需求。下表展示了架构层次与主流大数据组件的对应关系:
Lambda 架构层次与技术分解
三层架构的具体职责与常见技术组件映射
层级1
层级1
层级1
技术
技术
技术
Lambda 架构
批处理层
加速层
服务层
HDFS/MapReduce
Storm/Spark
HBase/Cassandra
Lambda 架构
功能层
技术组件
层级关系
技术映射
在技术实现上,HDFS 常用于存储主数据集,而 HBase 或 Cassandra 主要用于服务层,因为它们能提供极低延迟的随机读写能力。MapReduce 和 Spark 则是构建离线视图的主力,而 Storm 或 Spark Streaming 则负责驱动加速层的增量处理。
架构评估与适用场景
Lambda 架构在提供强大功能的同时,也带来了相应的工程挑战。开发者需要权衡其优缺点:
| 维度 | 评价详情 |
|---|---|
| 主要优点 | 容错性极佳(原始数据不可变,随时可重算)、查询灵活、易于横向伸缩与水平扩展。 |
| 主要缺点 | 由于需要同时维护批处理和流处理两套代码,导致开发维护成本和编码开销显著增加,且系统迁移成本较高。 |
| 机器学习场景 | 利用其处理海量历史数据的能力进行模式识别与模型训练。 |
| 物联网 (IoT) 场景 | 应对海量传感器数据的实时监控与长期趋势分析。 |