19 大数据架构设计理论与实践 · 19.3 案例分析
某电商智能决策大数据系统
系统背景与 Kappa 架构设计
为了解决外卖平台在实时报价和算法决策参数计算中的时效性问题,追求业务利益最大化,某电商打造了基于 Kappa 架构的智能决策大数据系统。与传统的离线计算模式不同,该系统不再区分离线层和实时层,而是通过简化架构来提升数据处理的连贯性。
该系统的核心在于使用统一的数据处理引擎 Flink 可实时处理流数据。这种设计不仅减少了开发维护两套代码的成本,还保证了数据口径的高度统一。系统的核心功能模块主要由实时数据处理、参数计算和迭代、以及参数本地存储三大板块构成。
在理解其架构时,需要注意的是,本案例采用的是纯粹的 Kappa 架构,这与奥运票务系统或广告投放平台中常见的 Lambda 架构(即同时存在离线和实时两条处理路径)有本质区别。在这里,所有数据均被视为流,通过 Flink 进行统一调度。
数据处理流程与分层存储
系统的数据流转始于 B 端业务系统的原始行为采集,通过高性能的消息队列进行缓冲,再进入实时计算层进行深加工。下图展示了从数据产生到最终触达决策端的完整闭环流程:
数据加工与转换
Flink 引擎从 Kafka 中读取实时流数据,执行多维度的逻辑处理。
- 清洗过滤:剔除冗余和无效字段,保证数据质量。
- 时间窗口聚合:基于特定时间窗口进行指标计算,将原始点击、下单、曝光数据转化为可用的决策指标。
分层存储策略
数据经过处理后,根据业务用途的不同,数据存储到 Hive 与 Tair 中。
- Hive 日志库:作为持久化层,存储全量日志,主要用于长期的历史记录查询和离线归档分析。
- Tair 分布式缓存:需要参与模型计算的字段存储到 Tair 分布式缓存中,利用其高性能读取特性支持决策服务。
在存储配置上,容易混淆的是 Hive 与 Tair 的角色定位:Hive 侧重于“存得全”以备后查,而 Tair 侧重于“读得快”以支撑决策。两者的分工确保了系统既有历史可追溯性,又有实时响应能力。
智能决策闭环与性能优化
决策服务在获取 Tair 中的实时数据后,会启动模型计算程序。每当计算出新的业务参数或模型权重,服务端会将其再次存入 Tair,并同步记录到 Hive。为了实现参数的零延迟生效,系统引入了动态通知机制。
具体而言,系统通过 Zookeeper 通知部署到业务方系统的客户端。当客户端接收到 Zookeeper 发出的变更通知后,会立即从服务端拉取最新的参数,并将其更新到客户端本地存储中。这意味着业务方系统使用最新的参数,只需从本地获取即可,不会产生任何网络延迟。
应用价值评估
- 计算准确性:通过实时流数据参与模型迭代,替代了传统的 T+1 离线词表模式,使模型能精准反映当前市场的波动。
- 响应及时性:本地化参数读取机制彻底消除了决策过程中的 RPC 调用开销。
需要重点区分的是,业务系统在执行决策逻辑时,并不是通过实时调用服务端接口来获取结果,而是读取已经在本地内存或磁盘中准备好的参数。这种“数据预推、本地读取”的设计是系统实现极致高性能的核心所在。