19 大数据架构设计理论与实践 · 19.3 案例分析
某证券公司大数据系统
系统建设背景与架构选型
随着金融业务复杂度的提升,证券公司需要从自动化运维向智能化运维转变,以解决分散监控难以统一的问题。为了实现海量日志的实时处理,平台基于 Kappa 架构,使用 Flink 作为统一数据处理引擎。
该架构直接利用流计算引擎处理实时数据流,简化了传统 Lambda 架构中离线层与实时层并存的复杂性。数据源主要来自各应用系统的日志,通过部署在服务器上的 Filebeat 进行轻量化采集。
需要注意的是,本系统采用的是侧重流处理的 Kappa 架构,在备考中应注意其与奥运会等案例中采用的 Lambda 架构(离线与实时双路并行)的区别。
实时日志处理全流程
系统通过五个核心环节实现数据从采集到业务应用的闭环,如下图所示:
在实际流转过程中,日志采集后会首先输出到 Kafka 消息队列进行缓冲,这能够有效应对突发流量,保证后续 Flink 计算引擎的稳定性。数据经过清洗解析后,会根据性质的不同进入不同的存储路径。
双模存储引擎分工
系统针对日志的非结构化特征和指标的数值特征,采用了差异化的存储策略:
内容存储策略
侧重于原始信息的留存与检索。
- 日志数据分类存储:内容在 ElasticSearch,利用其强大的倒排索引能力,支持百亿级数据的秒级全文检索。
指标存储策略
侧重于性能数据的统计与趋势分析。
- 日志数据分类存储:指标在 OpenTSDB,作为时序数据库,它能高效处理带有时间戳的数值型数据,支撑快速钻取分析。
核心业务功能场景
平台通过对底层数据的深度加工,对外提供了三大核心业务价值:
日志智能搜索
超越简单的关键词匹配。
- 支持复杂的正则表达式检索,并能将特定的日志内容动态转换为数值变量,为后续预警提供基础。
可视化与监控
直观展现系统健康状况。
- 通过仪表盘展示交易耗时、报错频率等关键指标。其中,全息场景监控支持异常点预警并自动推送,通过告警消息队列实现故障的实时发现。
可配置化开发框架优化
针对 Flink 原生 API 开发门槛高、不支持配置化上线的痛点,系统自主研发了通用计算框架。该框架抽象了底层处理逻辑,开发者只需配置 Kafka 源、处理脚本及 ES 索引即可快速发布任务。
在具体实现上,系统通过 Ruby 脚本结合 Logstash 语法实现解析逻辑,自动转换为 Flink 算子。这种设计允许运维人员延用熟悉的 Logstash 配置风格,同时享受 Flink 高吞吐、低延迟的计算性能。对于复杂的指标加工,系统还支持使用 Flink SQL 语法定义实时处理规则。
容易混淆的是,虽然计算引擎是 Flink (Java/Scala 开发),但该框架为降低门槛所采用的脚本语言是 Ruby 语法,而非 Python 或原生的 Java 接口。