跃界星图

19 大数据架构设计理论与实践 · 19.2 典型的大数据架构

Lambda架构

重要度:★ 建议学习 300 分钟 软考学习笔记

Lambda 架构概述

Lambda 架构由 Storm 的作者 Nathan Marz 提出,是一种旨在处理海量数据的分布式系统架构。该架构通过整合离线计算与实时计算,实现了对大规模数据处理的高容错性、低延迟和可扩展性。

其核心设计原则在于融合了不可变性(Immutability)、读写分离和复杂性隔离。系统并不尝试构建一个复杂的、能够实时更新的全局数据库,而是追求最终精度(Eventual Accuracy):即通过离线层的精确校正来弥补实时层可能产生的近似误差。需要注意的是,Lambda 架构并非仅仅为了实时计算而生,它的精髓在于离线与实时两者的有机结合。

三层体系结构

Lambda 架构将数据处理流程划分为三个逻辑层,新数据进入系统后会同时分发到批处理层和加速层。如下图所示,这种双路并行的设计确保了数据处理的全面性与时效性:

Lambda 架构数据处理流程 数据进入系统后被分发到批处理层和加速层,最终在服务层合并供查询 归档/全量 实时/增量 Batch View Real-time View 合并结果 新数据 (New Data) 批处理层 (Batch Layer) 加速层 (Speed Layer) 服务层 (Serving Layer) 查询结果 (Query) 归档/全量 实时/增量 Batch View Real-time View 合并结果 主节点 次节点 批处理流 实时流

在实际运作中,容易混淆的是两层的数据源:批处理层处理的是全量的主数据集,而加速层仅处理自上次批处理窗口以来的增量数据流。

核心层级功能深度解析

批处理层 (Batch Layer)

负责存储主数据集并预计算批处理视图。

  • 主数据集属性:数据必须满足原始、不可变、真实三个属性。在 Lambda 架构中,主数据集不会像传统数据库那样被执行 Update 操作,而是通过 Append(追加) 的方式存储。
  • Monoid 特性:计算函数通常具有 Monoid 特性(满足结合律),这使得系统能够支持大规模并行运算并实现结果的共享与重用。

加速层与服务层

负责补偿批处理层的延迟并提供查询接口。

  • 加速层 (Speed Layer):为了追求低延迟,该层常采用近似计算。关键在于加速层的数据在处理完并进入批处理层后即可丢弃,它只负责填补批处理视图尚未覆盖的时间窗口。
  • 服务层 (Serving Layer):负责合并 Batch View(批处理视图)与 Real-time View(实时视图)中的结果,以响应用户的即时查询。

技术实现与组件映射

Lambda 架构的每一层都有其特定的技术选型,以满足不同的计算与存储需求。下表展示了架构层次与主流大数据组件的对应关系:

Lambda 架构层次与技术分解 三层架构的具体职责与常见技术组件映射 层级1 层级1 层级1 技术 技术 技术 Lambda 架构 批处理层 加速层 服务层 HDFS/MapReduce Storm/Spark HBase/Cassandra Lambda 架构 功能层 技术组件 层级关系 技术映射

在技术实现上,HDFS 常用于存储主数据集,而 HBase 或 Cassandra 主要用于服务层,因为它们能提供极低延迟的随机读写能力。MapReduce 和 Spark 则是构建离线视图的主力,而 Storm 或 Spark Streaming 则负责驱动加速层的增量处理。

架构评估与适用场景

Lambda 架构在提供强大功能的同时,也带来了相应的工程挑战。开发者需要权衡其优缺点:

维度 评价详情
主要优点 容错性极佳(原始数据不可变,随时可重算)、查询灵活、易于横向伸缩与水平扩展。
主要缺点 由于需要同时维护批处理和流处理两套代码,导致开发维护成本和编码开销显著增加,且系统迁移成本较高。
机器学习场景 利用其处理海量历史数据的能力进行模式识别与模型训练。
物联网 (IoT) 场景 应对海量传感器数据的实时监控与长期趋势分析。
本页内容由 跃界星图软考学习库 整理,仅供个人备考学习。