跃界星图

19 大数据架构设计理论与实践 · 19.3 案例分析

某电商智能决策大数据系统

重要度:★ 建议学习 300 分钟 软考学习笔记

系统背景与 Kappa 架构设计

为了解决外卖平台在实时报价和算法决策参数计算中的时效性问题,追求业务利益最大化,某电商打造了基于 Kappa 架构的智能决策大数据系统。与传统的离线计算模式不同,该系统不再区分离线层和实时层,而是通过简化架构来提升数据处理的连贯性。

该系统的核心在于使用统一的数据处理引擎 Flink 可实时处理流数据。这种设计不仅减少了开发维护两套代码的成本,还保证了数据口径的高度统一。系统的核心功能模块主要由实时数据处理、参数计算和迭代、以及参数本地存储三大板块构成。

在理解其架构时,需要注意的是,本案例采用的是纯粹的 Kappa 架构,这与奥运票务系统或广告投放平台中常见的 Lambda 架构(即同时存在离线和实时两条处理路径)有本质区别。在这里,所有数据均被视为流,通过 Flink 进行统一调度。

数据处理流程与分层存储

系统的数据流转始于 B 端业务系统的原始行为采集,通过高性能的消息队列进行缓冲,再进入实时计算层进行深加工。下图展示了从数据产生到最终触达决策端的完整闭环流程:

智能决策系统数据流转与控制泳道图 展示从数据采集到参数更新的完整闭环流程 输出 实时读取 归档 存储计算字段 提供输入 更新完成 通知拉取 B端系统/业务方 大数据平台(Kafka/Flink) 存储层(Hive/Tair) 决策服务(Server/ZK) 采集点击/下单/曝光数据 客户端拉取并本地存储 Kafka缓存实时流 Flink清洗/聚合/转换 写入Hive日志库 写入Tair分布式缓存 读取Tair数据计算模型 ZK发送更新通知 输出 实时读取 归档 存储计算字段 提供输入 更新完成 通知拉取 主节点 次节点 泳道标题 实线流转 虚线通知

数据加工与转换

Flink 引擎从 Kafka 中读取实时流数据,执行多维度的逻辑处理。

  • 清洗过滤:剔除冗余和无效字段,保证数据质量。
  • 时间窗口聚合:基于特定时间窗口进行指标计算,将原始点击、下单、曝光数据转化为可用的决策指标。

分层存储策略

数据经过处理后,根据业务用途的不同,数据存储到 Hive 与 Tair 中。

  • Hive 日志库:作为持久化层,存储全量日志,主要用于长期的历史记录查询和离线归档分析。
  • Tair 分布式缓存:需要参与模型计算的字段存储到 Tair 分布式缓存中,利用其高性能读取特性支持决策服务。

在存储配置上,容易混淆的是 Hive 与 Tair 的角色定位:Hive 侧重于“存得全”以备后查,而 Tair 侧重于“读得快”以支撑决策。两者的分工确保了系统既有历史可追溯性,又有实时响应能力。

智能决策闭环与性能优化

决策服务在获取 Tair 中的实时数据后,会启动模型计算程序。每当计算出新的业务参数或模型权重,服务端会将其再次存入 Tair,并同步记录到 Hive。为了实现参数的零延迟生效,系统引入了动态通知机制。

具体而言,系统通过 Zookeeper 通知部署到业务方系统的客户端。当客户端接收到 Zookeeper 发出的变更通知后,会立即从服务端拉取最新的参数,并将其更新到客户端本地存储中。这意味着业务方系统使用最新的参数,只需从本地获取即可,不会产生任何网络延迟。

传统离线模式 vs 智能决策系统模式 对比数据时效性与系统响应机制的改进 传统离线/旧模式 数据源:T+1 历史数据 计算方式:依赖人工调参/离线计算 准确性:无法反映当天实时变化 获取方式:网络请求服务端 响应速度:存在网络延迟 Kappa架构/新模式 数据源:实时流数据 计算方式:Flink实时计算+自动迭代 准确性:实时参与计算,高准确度 获取方式:ZK通知+本地存储读取 响应速度:无网络延迟,极快 模式标题 传统离线特性 智能决策特性

应用价值评估

  • 计算准确性:通过实时流数据参与模型迭代,替代了传统的 T+1 离线词表模式,使模型能精准反映当前市场的波动。
  • 响应及时性:本地化参数读取机制彻底消除了决策过程中的 RPC 调用开销。

需要重点区分的是,业务系统在执行决策逻辑时,并不是通过实时调用服务端接口来获取结果,而是读取已经在本地内存或磁盘中准备好的参数。这种“数据预推、本地读取”的设计是系统实现极致高性能的核心所在。

本页内容由 跃界星图软考学习库 整理,仅供个人备考学习。