前言
汽车之家几年前已实现了应用日志的采集,但是对数据库日志并没有实现集中采集， 排查定位数据库故障原因不便。2021年我们研发了数据库日志采集分析平台系统，实现了数据库主机系统日志,数据库错误日志，审计日志的采集和分析。
01
背景介绍
之家数据库日志以前分散在各DB宿主机及容器RDS上，没有实现集中采集，排查定位故障原因不便。2021年DBA研发了数据库日志采集分析平台,实现了主机系统日志,数据库错误日志，审计日志的采集和分析。通过日志的集中采集,提升了故障排查效率，并且深入挖掘日志价值,可为未来之家数据库的智能审计，智能运维（如故障预警,自愈,自动调优）提供基础。
02
日志分析发展历程
日志分析并不是一项新颖的技术了，需要的是实际解决问题的思路或工具，哪怕是一段只有20行的命令脚本都可以。日志分析的发展划可分成4个时代：
1.石器时代 ： 石器时代日志分析通常依靠Excel、终端命令(awk、grep、sort、uniq、wc等)。
2. 铁器时代 ： 铁器时代通常依靠脚本工具(自写工具)、简易交互式工具(logwatch、logparser)等。
3. 工业时代 ： 工作时代大家在做日志分析的时候相比前两个时代已经有了太多 的进步了，各种开源、免费、付费的软件可供选择，比如：Elastic系列、Splunk等等。
4. 未来时代 ： 这个时代大家在做日志分析时候我不知道会用到什么，但是从目前来看，机器学习、人工智能应该是核心之一。
统一日志分析平台的工作在看来可以简单 分为2个阶段：
平台实现： 日志规范化 --> 日志采集 --> 日志存储 --> 日志分析 --> 日志展示 --> 告警实现；
平台优化： 这个阶段是对平台实现中的每一个步骤进行优化。
以下对常见的开源日志采集工具做一 简单分析
发布者：admin，转转请注明出处：http://www.yc00.com/web/1754074996a5114441.html
评论列表（0条）