19 大数据架构设计理论与实践 · 19.3 案例分析
某网广告平台的应用与演进
数据需求与指标体系
广告平台在处理海量投放数据时,必须满足可伸缩性与不可变性两大核心要求。通过分区、复制与 Rebalance 技术确保系统能够随业务量增长灵活扩展,同时坚持原始数据在存储后不被修改,以保证数据溯源的准确性。
指标分类与来源
系统通过对接广点通等外部渠道与微商城内部系统,将指标分为两大类:
- 曝光类指标:包括曝光量、点击量和广告花费。此类数据依赖外部接口,需从第三方广告平台获取。
- 转化类指标:包括下单量和付款金额。此类数据源于内部日志计算,由系统采集微商城业务流水生成。
在设计系统时,需要注意的是,曝光类数据依赖外部接口,而转化类数据源于内部日志,由于来源不同,其采集频率与处理方式也存在显著差异。
第一版架构(V1):标准 Lambda 的困境
初始阶段采用标准的 Lambda 架构,将数据流分为批处理层与实时处理层。批处理通过 Kafka、HDFS 和 Hive 进行计算并写入 MySQL;实时处理则利用 Spark Streaming 将结果存入 Redis。服务层由 Java 构建,负责从两个 MySQL 库(离线数据与外部数据)以及一个 Redis 库(实时数据)中读取并聚合信息。
然而,这种架构在实际运行中暴露出严重的性能瓶颈:Java 服务层承担了过重的聚合计算任务。由于多源数据分散在不同数据库中,服务层在响应请求时需执行复杂的关联操作,导致高并发场景下响应缓慢。此外,V1 版本缺乏实时外部数据支持,无法实现实时的广告调价策略。
容易混淆的是,V1 的瓶颈主要在于服务端的逻辑聚合压力,而非 Hadoop 集群本身的离线计算能力不足。
第二版架构(V2):引入实时外部数据
为了解决外部指标滞后的问题,V2 版本引入了 Python 常驻脚本,通过定期调用外部 API 来更新当日曝光表。为了在获取实时数据与规避 API 调用次数限制之间取得平衡,系统采用了API 分档调用策略:
- 非活跃时间段(1:00-8:00):按低频率抓取,设定为 30 分钟/次。
- 活跃时间段(8:00-次日1:00):按高频率抓取,设定为 10 分钟/次。
在离线处理端,通过在 Hive 中提前 Join 转化数据与曝光数据并输出单张宽表,有效减轻了服务层的部分压力。但 V2 版本仍存在遗留瓶颈:Redis 在查询时仍需频繁访问 MySQL 以获取必要的关联关系,且离线任务的依赖链过长,导致整体稳定性受限。
第三版架构(V3):全量数据统一存储
V3 架构实现了核心变革,将查询阶段的聚合压力转移到了数据收集与计算阶段。系统不再维持多个数据库的复杂关联,而是统一使用一张 MySQL 大表存储所有数据。通过建立 stday 索引 来区分数据时效:stday 等于当天时代表实时数据,stday 小于当天时代表历史离线数据。
如下所示,V3 架构通过简化数据流向,实现了服务层的高效读取:
实时处理优化
V3 改变了实时数据的写入逻辑,不再直接写入 Redis。
- 分散更新技术:Spark Streaming 计算出的实时转化数据不再缓存,而是直接调用 Java 接口更新 MySQL 大表中的对应记录。
- 服务层简化:Java 服务层从复杂的聚合者转变为单纯的读取者,仅需根据 stday 索引读取单张表即可返回结果。
值得注意的是,V3 架构通过改变实时数据的写入方式来优化性能,将“读时聚合”转变为“写时分散更新”,这并没有废弃实时计算过程,而是让数据存储更符合业务查询习惯。
架构演进全景对比
| 版本 | 核心特征 | 主要瓶颈 | 演进改进点 |
|---|---|---|---|
| V1 | 标准 Lambda,多库聚合 | Java 服务聚合逻辑复杂,性能差 | 初步建立批处理与实时流 |
| V2 | Python 脚本抓取实时外部数据 | Redis 查询依赖 MySQL 关联 | Hive 预聚合,API 分时段抓取策略 |
| V3 | 统一 MySQL 大表,stday 索引 | 无明显性能瓶颈 | 实时数据分散更新,服务层读单表 |