跃界星图

19 大数据架构设计理论与实践 · 19.3 案例分析

某网广告平台的应用与演进

重要度:★ 建议学习 300 分钟 软考学习笔记

数据需求与指标体系

广告平台在处理海量投放数据时,必须满足可伸缩性与不可变性两大核心要求。通过分区、复制与 Rebalance 技术确保系统能够随业务量增长灵活扩展,同时坚持原始数据在存储后不被修改,以保证数据溯源的准确性。

指标分类与来源

系统通过对接广点通等外部渠道与微商城内部系统,将指标分为两大类:

  • 曝光类指标:包括曝光量、点击量和广告花费。此类数据依赖外部接口,需从第三方广告平台获取。
  • 转化类指标:包括下单量和付款金额。此类数据源于内部日志计算,由系统采集微商城业务流水生成。

在设计系统时,需要注意的是,曝光类数据依赖外部接口,而转化类数据源于内部日志,由于来源不同,其采集频率与处理方式也存在显著差异。

第一版架构(V1):标准 Lambda 的困境

初始阶段采用标准的 Lambda 架构,将数据流分为批处理层与实时处理层。批处理通过 Kafka、HDFS 和 Hive 进行计算并写入 MySQL;实时处理则利用 Spark Streaming 将结果存入 Redis。服务层由 Java 构建,负责从两个 MySQL 库(离线数据与外部数据)以及一个 Redis 库(实时数据)中读取并聚合信息。

然而,这种架构在实际运行中暴露出严重的性能瓶颈:Java 服务层承担了过重的聚合计算任务。由于多源数据分散在不同数据库中,服务层在响应请求时需执行复杂的关联操作,导致高并发场景下响应缓慢。此外,V1 版本缺乏实时外部数据支持,无法实现实时的广告调价策略。

容易混淆的是,V1 的瓶颈主要在于服务端的逻辑聚合压力,而非 Hadoop 集群本身的离线计算能力不足。

第二版架构(V2):引入实时外部数据

为了解决外部指标滞后的问题,V2 版本引入了 Python 常驻脚本,通过定期调用外部 API 来更新当日曝光表。为了在获取实时数据与规避 API 调用次数限制之间取得平衡,系统采用了API 分档调用策略:

  • 非活跃时间段(1:00-8:00):按低频率抓取,设定为 30 分钟/次。
  • 活跃时间段(8:00-次日1:00):按高频率抓取,设定为 10 分钟/次。

在离线处理端,通过在 Hive 中提前 Join 转化数据与曝光数据并输出单张宽表,有效减轻了服务层的部分压力。但 V2 版本仍存在遗留瓶颈:Redis 在查询时仍需频繁访问 MySQL 以获取必要的关联关系,且离线任务的依赖链过长,导致整体稳定性受限。

第三版架构(V3):全量数据统一存储

V3 架构实现了核心变革,将查询阶段的聚合压力转移到了数据收集与计算阶段。系统不再维持多个数据库的复杂关联,而是统一使用一张 MySQL 大表存储所有数据。通过建立 stday 索引 来区分数据时效:stday 等于当天时代表实时数据,stday 小于当天时代表历史离线数据。

如下所示,V3 架构通过简化数据流向,实现了服务层的高效读取:

某网广告平台V3架构数据流 展示V3架构如何将多源数据统一汇聚至单一MySQL表 数据源: 外部API(曝光) + Kafka(转化) 采集 处理层: Python脚本 + Spark Streaming(调接口) 更新stday=当天 存储层: 统一MySQL表 (stday索引区分) 直接查询 服务层: Java服务 (仅读单表) 基础组件 处理逻辑 核心存储

实时处理优化

V3 改变了实时数据的写入逻辑,不再直接写入 Redis。

  • 分散更新技术:Spark Streaming 计算出的实时转化数据不再缓存,而是直接调用 Java 接口更新 MySQL 大表中的对应记录。
  • 服务层简化:Java 服务层从复杂的聚合者转变为单纯的读取者,仅需根据 stday 索引读取单张表即可返回结果。

值得注意的是,V3 架构通过改变实时数据的写入方式来优化性能,将“读时聚合”转变为“写时分散更新”,这并没有废弃实时计算过程,而是让数据存储更符合业务查询习惯。

架构演进全景对比

版本 核心特征 主要瓶颈 演进改进点
V1 标准 Lambda,多库聚合 Java 服务聚合逻辑复杂,性能差 初步建立批处理与实时流
V2 Python 脚本抓取实时外部数据 Redis 查询依赖 MySQL 关联 Hive 预聚合,API 分时段抓取策略
V3 统一 MySQL 大表,stday 索引 无明显性能瓶颈 实时数据分散更新,服务层读单表
本页内容由 跃界星图软考学习库 整理,仅供个人备考学习。