跃界星图

19 大数据架构设计理论与实践 · 19.3 案例分析

某证券公司大数据系统

重要度:★ 建议学习 300 分钟 软考学习笔记

系统建设背景与架构选型

随着金融业务复杂度的提升,证券公司需要从自动化运维向智能化运维转变,以解决分散监控难以统一的问题。为了实现海量日志的实时处理,平台基于 Kappa 架构,使用 Flink 作为统一数据处理引擎。

该架构直接利用流计算引擎处理实时数据流,简化了传统 Lambda 架构中离线层与实时层并存的复杂性。数据源主要来自各应用系统的日志,通过部署在服务器上的 Filebeat 进行轻量化采集。

需要注意的是,本系统采用的是侧重流处理的 Kappa 架构,在备考中应注意其与奥运会等案例中采用的 Lambda 架构(离线与实时双路并行)的区别。

实时日志处理全流程

系统通过五个核心环节实现数据从采集到业务应用的闭环,如下图所示:

实时日志分析平台数据处理流程 数据从采集到应用的全生命周期流转 日志采集 (Filebeat -> Kafka) 流数据 清洗解析 (Flink实时计算) 解析后数据 分类存储 (ES + OpenTSDB) 异常信号 监控告警 (消息队列推送) 数据支撑 业务应用 (搜索/可视化/全息监控) 核心处理 应用支撑

在实际流转过程中,日志采集后会首先输出到 Kafka 消息队列进行缓冲,这能够有效应对突发流量,保证后续 Flink 计算引擎的稳定性。数据经过清洗解析后,会根据性质的不同进入不同的存储路径。

双模存储引擎分工

系统针对日志的非结构化特征和指标的数值特征,采用了差异化的存储策略:

双模存储引擎对比 ElasticSearch 与 OpenTSDB 在系统中的分工 ElasticSearch 存储对象:日志内容数据 用途:全文检索、历史查询 数据特性:非结构化/半结构化 OpenTSDB 存储对象:各类基于日志的指标 用途:时序分析、快速钻取 数据特性:时间序列数值 引擎名称 功能特性

内容存储策略

侧重于原始信息的留存与检索。

  • 日志数据分类存储:内容在 ElasticSearch,利用其强大的倒排索引能力,支持百亿级数据的秒级全文检索。

指标存储策略

侧重于性能数据的统计与趋势分析。

  • 日志数据分类存储:指标在 OpenTSDB,作为时序数据库,它能高效处理带有时间戳的数值型数据,支撑快速钻取分析。

核心业务功能场景

平台通过对底层数据的深度加工,对外提供了三大核心业务价值:

日志智能搜索

超越简单的关键词匹配。

  • 支持复杂的正则表达式检索,并能将特定的日志内容动态转换为数值变量,为后续预警提供基础。

可视化与监控

直观展现系统健康状况。

  • 通过仪表盘展示交易耗时、报错频率等关键指标。其中,全息场景监控支持异常点预警并自动推送,通过告警消息队列实现故障的实时发现。

可配置化开发框架优化

针对 Flink 原生 API 开发门槛高、不支持配置化上线的痛点,系统自主研发了通用计算框架。该框架抽象了底层处理逻辑,开发者只需配置 Kafka 源、处理脚本及 ES 索引即可快速发布任务。

在具体实现上,系统通过 Ruby 脚本结合 Logstash 语法实现解析逻辑,自动转换为 Flink 算子。这种设计允许运维人员延用熟悉的 Logstash 配置风格,同时享受 Flink 高吞吐、低延迟的计算性能。对于复杂的指标加工,系统还支持使用 Flink SQL 语法定义实时处理规则。

容易混淆的是,虽然计算引擎是 Flink (Java/Scala 开发),但该框架为降低门槛所采用的脚本语言是 Ruby 语法,而非 Python 或原生的 Java 接口。

本页内容由 跃界星图软考学习库 整理,仅供个人备考学习。