19 大数据架构设计理论与实践 · 19.3 案例分析
某网在奥运转播中的大数据应用
重要度:★
建议学习 300 分钟
软考学习笔记
业务背景与Lambda架构选型
在大型体育赛事如里约奥运会的独家转播中,系统面临海量用户行为数据的瞬间冲击。业务需求表现为明显的双重特性:一方面是当日概览(实时)需求,要求秒级刷新在线人数、综合浏览量等关键指标;另一方面是赛事回顾(离线)需求,侧重于历史最高人数、逐日走势等大规模统计。
为了平衡实时性与准确性,系统采用了Lambda架构。Lambda架构实时处理层采用增量计算,能够完美满足当日概览秒级刷新的性能要求;而Lambda架构批处理层采用不可变存储模型,通过追加而非修改的方式记录历史数据,确保了赛事回顾场景下大规模统计的高可靠性与一致性。需要注意的是,这种不可变存储模型是针对历史数据的特定要求,旨在防止数据篡改并提高读取效率。
平台总体架构与集成存储设计
某网大数据平台采用了标准的四层技术架构,通过组件解耦实现了高可用与横向扩展能力。其架构分层关系如下图所示:
某网奥运大数据平台架构分层
展示从数据采集到应用的四层技术架构及核心组件
数据应用层
(当日概览/赛事回顾)
数据计算层
(离线计算 | 实时计算 | 合并计算)
数据存储层
(Hbase | MemSQL | 云存储)
数据集成层
(Nginx/Flume/Kafka | Sqoop)
服务调用
计算支撑
存储
应用层
平台支撑层
数据集成层设计
负责多源数据的统一采集与分流。
- 实时集成:日志数据通过Nginx和Flume进行初步聚合,随后传输至消息队列Kafka,为下游实时计算提供缓冲。
- 离线集成:针对业务系统的结构化数据,利用Sqoop工具将数据以追加模式存储到分布式数据库中。
数据存储层设计
采用多模存储机制支撑不同的计算需求。
- 列式存储:核心历史数据存储在分布式列数据库Hbase中。
- 内存支撑:引入MemSQL内存关系型数据库,主要用于辅助计算和加速查询响应。
在存储设计上,系统通过三重副本机制实现了自动存储容错,当物理节点出现故障时,系统能够自动完成数据迁移与恢复。容易混淆的是,MemSQL虽然具备极高的读写性能,但在本架构中主要作为计算辅助和快速查询层,而非离线数据的主存储介质。
数据计算层的三重逻辑
数据计算层通过I/O负载分离的设计目标,将计算逻辑划分为离线、实时与合并三个维度,其处理流程如下:
数据计算层处理流程
展示离线、实时和合并三种计算模式的数据流向与处理逻辑
定期处理
实时处理
聚合View
离线计算
Spark/M-R预运算
写入HDFS (Batch)
定期处理
实时计算
Spark Streaming增量
更新Real-time View
实时处理
合并计算
响应查询请求
合并数据写入Hbase
聚合View
普通节点
实时节点
数据流向
计算模式差异
- 离线计算(Batch Layer):利用Spark或Map-Reduce对全量历史数据进行预运算,计算结果更新至Batch View(通常存储于HDFS)。
- 实时计算(Speed Layer):使用Spark Streaming处理最近流入的增量数据。必须明确的是,实时计算做的是增量计算,即只处理新产生的数据片段,而非对全量数据进行重新运算,计算结果实时更新至Real-time View。
- 合并计算(Serving Layer):作为最终的响应层,该层会将Batch View和Real-time View的结果进行逻辑合并,生成最终的数据集并写入Hbase,以响应用户的实时查询请求。
在理解此逻辑时,需要准确区分计算结果的存储位置:离线预运算的结果通常保留在文件系统或数据仓库中,而最终经过合并、可供直接调用的服务数据则会持久化到Hbase等查询效率更高的数据库中。