跃界星图

19 大数据架构设计理论与实践 · 19.3 案例分析

某网在奥运转播中的大数据应用

重要度:★ 建议学习 300 分钟 软考学习笔记

业务背景与Lambda架构选型

在大型体育赛事如里约奥运会的独家转播中,系统面临海量用户行为数据的瞬间冲击。业务需求表现为明显的双重特性:一方面是当日概览(实时)需求,要求秒级刷新在线人数、综合浏览量等关键指标;另一方面是赛事回顾(离线)需求,侧重于历史最高人数、逐日走势等大规模统计。

为了平衡实时性与准确性,系统采用了Lambda架构。Lambda架构实时处理层采用增量计算,能够完美满足当日概览秒级刷新的性能要求;而Lambda架构批处理层采用不可变存储模型,通过追加而非修改的方式记录历史数据,确保了赛事回顾场景下大规模统计的高可靠性与一致性。需要注意的是,这种不可变存储模型是针对历史数据的特定要求,旨在防止数据篡改并提高读取效率。

平台总体架构与集成存储设计

某网大数据平台采用了标准的四层技术架构,通过组件解耦实现了高可用与横向扩展能力。其架构分层关系如下图所示:

某网奥运大数据平台架构分层 展示从数据采集到应用的四层技术架构及核心组件 数据应用层 (当日概览/赛事回顾) 数据计算层 (离线计算 | 实时计算 | 合并计算) 数据存储层 (Hbase | MemSQL | 云存储) 数据集成层 (Nginx/Flume/Kafka | Sqoop) 服务调用 计算支撑 存储 应用层 平台支撑层

数据集成层设计

负责多源数据的统一采集与分流。

  • 实时集成:日志数据通过Nginx和Flume进行初步聚合,随后传输至消息队列Kafka,为下游实时计算提供缓冲。
  • 离线集成:针对业务系统的结构化数据,利用Sqoop工具将数据以追加模式存储到分布式数据库中。

数据存储层设计

采用多模存储机制支撑不同的计算需求。

  • 列式存储:核心历史数据存储在分布式列数据库Hbase中。
  • 内存支撑:引入MemSQL内存关系型数据库,主要用于辅助计算和加速查询响应。

在存储设计上,系统通过三重副本机制实现了自动存储容错,当物理节点出现故障时,系统能够自动完成数据迁移与恢复。容易混淆的是,MemSQL虽然具备极高的读写性能,但在本架构中主要作为计算辅助和快速查询层,而非离线数据的主存储介质。

数据计算层的三重逻辑

数据计算层通过I/O负载分离的设计目标,将计算逻辑划分为离线、实时与合并三个维度,其处理流程如下:

数据计算层处理流程 展示离线、实时和合并三种计算模式的数据流向与处理逻辑 定期处理 实时处理 聚合View 离线计算 Spark/M-R预运算 写入HDFS (Batch) 定期处理 实时计算 Spark Streaming增量 更新Real-time View 实时处理 合并计算 响应查询请求 合并数据写入Hbase 聚合View 普通节点 实时节点 数据流向

计算模式差异

  • 离线计算(Batch Layer):利用Spark或Map-Reduce对全量历史数据进行预运算,计算结果更新至Batch View(通常存储于HDFS)。
  • 实时计算(Speed Layer):使用Spark Streaming处理最近流入的增量数据。必须明确的是,实时计算做的是增量计算,即只处理新产生的数据片段,而非对全量数据进行重新运算,计算结果实时更新至Real-time View。
  • 合并计算(Serving Layer):作为最终的响应层,该层会将Batch View和Real-time View的结果进行逻辑合并,生成最终的数据集并写入Hbase,以响应用户的实时查询请求。

在理解此逻辑时,需要准确区分计算结果的存储位置:离线预运算的结果通常保留在文件系统或数据仓库中,而最终经过合并、可供直接调用的服务数据则会持久化到Hbase等查询效率更高的数据库中。

本页内容由 跃界星图软考学习库 整理,仅供个人备考学习。