2023年7月17日发(作者：)

核心银行系统负载均衡设备日志解析平台的构建与应用

作者：张相广

来源：《中国金融电脑》 2018年第11期

大型商业银行核心银行系统负载均衡设备日常运维中产生大量的日志信息，包括了系统层面和应用层面的信息，是一笔宝贵财富，充分挖掘日志信息数据价值是提升核心银行系统精细化管理水平的必要一环, 运维人员可以从中诊断系统负荷和安全性，及时纠错。然而，负载均衡设备自身缺乏高效解析日志信息的运维工具，目前主要以人工发命令查看为主，效率低，难以满足快速定位故障的要求。ELK 是由ElasticSearch、Logstach和Kibana 组成的开源日志处理平台解决方案，提供日志收集、处理、存储、检索和展示等全方位功能。本文以一家大型商业银行数据中心为例，探讨创新核心系统负载均衡设备日志运维管理方式，以及如何构建一个基于ELK 的高效日志解析平台。

一、日志解析平台建设背景和实现技术

1. 日志解析平台建设背景

目前，大型商业银行核心产品服务运行在大型主机平台，主机平台的高可用性可以保障交易持续稳定运行。在前端，数以万计的银行网点和外围系统以应用层负载均衡设备作为桥梁，直连主机后台，这座桥梁缓解了前台终端设备对主机平台的直接冲击，还可以动态调配交易负载。由于交易量大，设备数目众多，核心银行系统负载均衡设备每天产生大量日志数据，既有系统层和应用层日志，又有用户定制的日志信息。由于数据量大，设备本身仅仅保留最近产生的日志信息，先前的日志直接废弃，以保障设备的有效服务能力，但这样给日志数据的历史检索带来不便。同时，日志数据分布在多台设备上，给日志集中化管理带来极大挑战。

银监会发布的《商业银行信息科技风险管理指引》、人民银行发布的《金融行业信息系统信息安全等级保护实施指引》和《中华人民共和国网络安全法》都明确指出：银行金融部门必须对系统日志进行集中保存，同时对运行日志和审计数据进行分析，及时发现系统异常，根据风险级别确定保存期限。参考同业，中国银行核心银行系统日志分析平台以核心银行交易日志为基础，以银行机构、柜员等基础信息为辅助，经过转换、清洗、加载、对数据进行分析并形成统计报告。负载均衡设备日志体量不断增大，分布不断分散和监管的压力促使我们改变过去低效的日志运维管理方式，建设满足中国农业银行核心银行系统实际需求的负载均衡设备日志解析平台。

简介

ELK 是目前最流行的集中式日志解析解决方案，由ElasticSearch、Logstach 和Kibana

等组件组成，共同完成日志收集、存储、检索和展示等一站式解决方案。各部分功能如下：

（1）Logstach 为数据收集引擎。它支持丰富的数据源，对收集的数据可以过滤、分析和格式化，充当“数据搬运工”的角色。

（2）ElasticSearch 为分布式数据搜索引擎。它的特点体现在分布式、零配置，自动发现，索引自动分片，索引副本机制，restful 风格接口，强大的数据搜索和聚合功能等方面。其基本实现思想是将大数据分而治之，对每一份进行索引和检索，最后将每份结果合并返回。

（3）Kibana 为友好的日志分析Web 界面。通过该平台可以实时查看ElasticSearch 中的相关数据，并提供丰富的图表统计功能。

二、负载均衡设备日志解析平台架构设计

1. 平台建设总体思路

农业银行在“安全、稳定、合规”的理念指导下，以ELK 日志分析平台为基础，以数据价值体现和用户体验为出发点和落脚点，建设集中化、自动化和可视化的核心银行负载均衡设备日志高效解析平台，充分挖掘日志价值，促使日志管理从数据运维向数据运营转型，杜绝数据孤岛现象，提升日志管理能力和效率。

2. 平台整体架构

基于ELK 的负载均衡设备日志解析平台整体架构如图1 所示。

整体架构大致分为数据收集层、数据分析层和数据应用层。

（1）数据收集层。将核心银行系统F5 设备的所有日志信息通过F5 自身带有的remote

logging 日志转存方式实时地传递到ELK 前端的F5 设备上。实时的日志传输可以确保日志分析的及时性和异常故障排查的有效性。在ELK 前端再部署F5 设备，既可以确保所有的Logstach 服务器负载均衡，又可以确保系统高可用。

（2）数据分析层。Logstach 是日志解析处理的第一步，也是关键一步，接收F5 服务器传递过来的日志信息，经过处理后输出到Elasticsearch 进行索引。在整个系统架构中，它实现了数据搬运功能，是一个具有众多功能的数据管道，由Input（输入）、Filter（过滤器）和Output（输出）三部分组成。首先，根据用户定制，对源数据中确定无需监控的日志信息进行过滤屏蔽处理；其次，结合日志规律，对过滤后的日志数据进行分段格式化，便于检索；最后，数据保存至Elasticsearch中进行高效检索。目前，Logstach 中的数据按月来建立Index，在每个月底的午夜（GMT），自动按照时间戳更新索引。根据运维经验和Logstach 容量来确定保存多久实时可检索数据，把老数据打包迁移到其他文件上保存，也可以将老数据转存到Logstach 中再进行检索。Elasticsearch 以分布式部署，将数据以分片形式存储，并提供多种API 供用户查询、操作。

（3）数据应用层。经过滤解析处理后的日志数据在Kibana 检索、可视化展示， 当前Kibana 部署在一台Elasticsearch 服务器上。Kibana 包含丰富的展示形式，有柱状图、趋势图、饼图和热力图等，可以利用Dashboard 功能自由地组合图标，方便日常监控维护。Kibana

还支持用户以特殊方式查询检索日志数据，比如：多个字段的多维钻探、多重过滤，还可以将过滤后的展示数据以EXCEL 格式导出保存到本地，形成数据报表。

Kibana 展示效果如图2 所示。左边是某一类日志信息整体趋势图，右边是分设备、分种类显示各类RESET信息占比的饼图，内圈的扇形是各台设备的RESET 错误占所有日志总数的比率，外圈的扇环形显示的是每台设备上每类RESET 占该台设备总错误数的比率。

告警模块定时提交检查作业，通过JSON 数据格式接口访问Elasticsearch 中的日志数据，对其进行“二次加工”：根据错误日志信息的种类，设置不同预警阈值；根据报错日志信息的数目，预警分提示、黄色告警和红色告警，提示是以邮件和微信推送的形式告知系统管理员，告警统一在集中监控平台上展示，需要人工干预。

三、负载均衡设备日志解析平台的应用 1. 快速定位

分析日志信息是异常处置的重要手段，高效分析日志信息对于异常问题的快速定位具有重要意义。基于ELK 的F5 日志解析平台可以实时获取多台设备日志，在一个界面里就可以实时排查定位多台设备问题，避免出现因“多点登入”导致排查问题效率低下的现象。此外，Kibana 包含趋势图、饼图、柱状图和热力图等丰富多样的展示形式，以及日志数量统计功能。运维人员可以按需采取不同的效果图，按时间、设备、错误种类或IP 地址等快速展示错误日志的种类、数量和趋势，实现了“精准定位”和“快速定位”，摒弃了传统发命令查看的“手工人肉”的运维模式，促进日志解析能力实现质的提升。

2. 助力运维

日志解析不仅用做问题定位，也是用户行为排查和合规审计的重要手段。考虑到负载均衡设备容量和性能，设备本身一般保留一个星期内的日志信息，无法满足日志的历史审计要求。ELK 日志解析平台大幅度延长了日志保留的期限，而且Logstach 容量设计具有弹性，可以根据需要扩容，进一步延长日志保留期限，满足日志历史审计的要求。

此外，平台告警模块可以保障异常信息排查的即时性和有效性，化被动运维为主动运维。针对已设置告警的日志信息，人工排查时直接过滤，减少排查日志的工作量，提升排查效率。

ELK 日志平台具备数据EXCEL 导出功能，可以生成各类报告所需的图表，无需人工统计生成，大幅度提升分析报告形成的效率。

3. 决策支持

大数据时代，银行数据中心各项决策必将从“经验依赖”向“数据依赖”转变，避免“跟着感觉走”。核心银行系统运维人员日常工作中一项重要任务是对各个分行客户端规范性、准确性运行情况作出评价，以此作为分行考核的依据之一。当客户端运行异常，比如网络异常、终端版本异常和程序异常等，F5 日志中就有可能出现RESET 报错信息，该RESET 信息有明确的分行网点地址。用ELK 日志平台可以很方便地统计出各个分行某段时间内RESET 报错种类和数目，及时反馈至分行，督促其整改，同时也可为分行管理考核提供数据支持。

四、改进措施

当前，基于ELK 的日志解析平台已经成为运维人员管理负载均衡设备不可或缺的“帮手”。今后，我们将采取以下措施对日志解析平台进行持续改造与优化，切实为运维人员“减负”。

1. 扩大平台数据源

当前，接入平台的日志数据只来自于负载均衡设备。实际上，核心银行系统大型主机日常运行过程中产生日志数量远远超过F5 设备，主机日志量更大，分布更散，种类更多，运维管理更复杂。由于自身运维工具的缺乏，主机日志还是靠手工查看为主，无法完全满足精细化管理要求。今后可考虑将主机日志实时转存到ELK 日志解析平台上，进行高效解析，真正达到核心银行系统日志信息集中化、自动化管理的目标。

2. 平台智能化

平台可以通过统计分析和大数据技术，以自身周期性趋势统计分析为基础，自适应地对各类日志信息告警阈值进行动态调整，提升预警分析精度。根据“快速处置”的要求，对一些常见的告警场景配置平台自动处理方案，尽量减少人工干预，也规避人工操作潜在风险，进一步提升核心银行系统业务的连续性。