2023年7月17日发(作者：)

运维基础——⽇志分析处理⼯具转⾃【/xundh/article/details/77548037】1. ELKElasticsearch基于Lucene的搜索服务器。它提供了⼀个分布式多⽤户能⼒的全⽂搜索引擎，基于RESTful web接⼝。Elasticsearch是⽤Java开发的，并作为Apache许可条款下的开放源码发布，是第⼆流⾏的企业搜索引擎。设计⽤于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使⽤⽅便。logstashLogStash由JRuby语⾔编写，基于消息（message-based）的简单架构，并运⾏在Java虚拟机（JVM）上。不同于分离的代理端（agent）或主机端（server），LogStash可配置单⼀的代理端（agent）与其它开源软件结合，以实现不同的功能。

说到搜索，logstash带有⼀个web界⾯，搜索和展⽰所有⽇志。kibanaLogstash是⼀个完全开源的⼯具，为 Logstash 和 ElasticSearch 提供的⽇志分析的 Web 接⼝，他可以对你的⽇志进⾏收集、分析，并将其存储供以后使⽤（如，搜索），您可以使⽤它。说到搜索，logstash带有⼀个web界⾯，搜索和展⽰所有⽇志。2. SkyEye对java、scala等运⾏于jvm的程序进⾏实时⽇志采集、索引和可视化，对系统进⾏进程级别的监控，对系统内部的操作进⾏策略性的报警、对分布式的rpc调⽤进⾏trace跟踪以便于进⾏性能分析

3. flumeFlume是Cloudera提供的⼀个⾼可⽤的，⾼可靠的，分布式的海量⽇志采集、聚合和传输的系统，Flume⽀持在⽇志系统中定制各类数据发送⽅，⽤于收集数据；同时，Flume提供对数据进⾏简单处理，并写到各种数据接受⽅（可定制）的能⼒。

当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重⼤重构，与Flume-og有很⼤不同，使⽤时请注意区分。

⽇志收集 ⽇志收集Flume最早是Cloudera提供的⽇志收集系统，⽬前是Apache下的⼀个孵化项⽬，Flume⽀持在⽇志系统中定制各类数据发送⽅，⽤于收集数据。

数据处理 数据处理Flume提供对数据进⾏简单处理，并写到各种数据接受⽅（可定制）的能⼒ 。Flume提供了从console（控制台）、RPC（Thrift-RPC）、text（⽂件）、tail（UNIX tail）、syslog（syslog⽇志系统），⽀持TCP和UDP等2种模式），exec（命令执⾏）等数据源上收集数据的能⼒。针对实时数据分析，可以使⽤：

flume-ng+Kafka+Storm4. Scribe

Scribe是Facebook开源的⽇志收集系统，在Facebook内部已经得到⼤量的应⽤。它能够从各种⽇志源上收集⽇志，存储到⼀个中央存储系统（可以是NFS，分布式⽂件系统等）上，以便于进⾏集中统计分析处理。它为⽇志的“分布式收集，统⼀处理”提供了⼀个可扩展的，⾼容错的⽅案。当中央存储系统的⽹络或者机器出现故障时，scribe会将⽇志转存到本地或者另⼀个位置，当中央存储系统恢复后，scribe会将转存的⽇志重新传输给中央存储系统。其通常与Hadoop结合使⽤，scribe⽤于向HDFS中push⽇志，⽽Hadoop通过MapReduce作业进⾏定期处理。5. Cloudera FlumeFlume是Cloudera提供的⼀个⾼可⽤的，⾼可靠的，分布式的海量⽇志采集、聚合和传输的系统，Flume⽀持在⽇志系统中定制各类数据发送⽅，⽤于收集数据；同时，Flume提供对数据进⾏简单处理，并写到各种数据接受⽅（可定制）的能⼒。Flume提供了从console（控制台）、RPC（Thrift-RPC）、text（⽂件）、tail（UNIX tail）、syslog（syslog⽇志系统，⽀持TCP和UDP等2种模式），exec（命令执⾏）等数据源上收集数据的能⼒。当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重⼤重构，与Flume-og有很⼤不同，使⽤时请注意区分。⼀些flume的应⽤：

flume+kafka+storm+mysql构建⼤数据实时系统 flume+kafka+storm+mysql构建⼤数据实时系统

Flume+HDFS+KafKa+Strom实现实时推荐，反爬⾍服务等服务在美团的应⽤ Flume+HDFS+KafKa+Strom实现实时推荐，反爬⾍服务等服务在美团的应⽤

Flume+Hadoop+Hive的离线分析⽹站⽤户浏览⾏为路径 Flume+Hadoop+Hive的离线分析⽹站⽤户浏览⾏为路径

Flume+Logstash+Kafka+Spark Streaming进⾏实时⽇志处理分析 Flume+Logstash+Kafka+Spark Streaming进⾏实时⽇志处理分析 Flume+Spark + ELK新浪数据系统实时监控平台 Flume+Spark + ELK新浪数据系统实时监控平台6. Log Parser 微软的⽇志分析⼯具主要针对windows的系统⽇志的分析⼯具。 为可执⾏⽂件，后跟⼀个使⽤ SQL 结构的语句参数进⾏查询。C:Program FilesLog Parser 2.2>LogParser “SELECT TOP 10 * FROM System ORDER BY RecordNumber DESC”

从系统⽇志（可以从事件查看器中找到）中，选出按 RecordNumber 逆序的前 10 条记录。RecordNumber 是 System 中的⼀个字段。7. Splunk是⼀个长期的基础设施的数据分析。它历来被认为是⼀个⽇志收集或聚集的⼯具，但它已发展成为⼀个伪⼤数据分析⼯具。 Splunk的扩展了它的使⽤案例，包括各种数据，棒球分析。

　　Splunk扩展基础设施管理的多样化分析⼯具，Splunk的并不限制数据源的来源。 Splunk的允许数据从收集的东西（IOT）设备和传感器⽹络中获取数据。⼀个例⼦分析可以分析数据中⼼机架的温度，来分析数据中⼼是否会受到影响。

　　Splunk允许使⽤向导来创建简单但功能强⼤的数据分析。对于⾼级⽤户，Splunk的利⽤其搜索处理语⾔（SPL）创建更深和更先进的数据相关性。

　　Splunk的是两个版本：免费版和企业。免费版本，该数据集的限制为500MB；它必须在⾮商业环境中使⽤，⽽且功能⽅⾯还有⼀些限制。8. Sumo LogicSumo 是在 Splunk 的基础上建⽴的 SaaS 版本，它沿⽤了 Splunk 早期的⼀些特性和视觉效果。不得不说，SL 今天已经发展成了⼀个成熟的企业级⽇志管理⼯具。是⼀个收费软件。9. vRealize Log InsightvRealize Log Insight的前⾝为vCenter Log Insight，是VMware的分析⼯具，能够为VMware环境提供实时记录档案管理，在实体、污泥与云端环境中可以发挥极其学习似智慧型群组、⾼效能搜寻与更加的疑难排除等功能。10. Virtual Instruments当⼿机⽇志和分析有关海量数据的时候，主要考虑的是基础设施所产⽣的开销，⽆论是⼀个企业的应⽤程序还是基础设施⼯具，都是⼤数据的基础，那么有没有⼀种仪器能够完善数据的收集和分析呢？Virtual Instruments就是这样的⼀个设备来进⾏数据分析。

Virtual Instruments提供了收集数据的功能以及分析⼯具VirtualWisdom，Virtual Instruments医疗通过从⽹络、存储以及服务器监控得到的信息，利⽤现有客户端的数据，来帮助客户分析出有价值的信息。既简单⼜⽅便。11. TimeTunnel

TimeTunnel（简称 TT）是⼀个基于thrift通讯框架搭建的实时数据传输平台，具有⾼性能、实时性、顺序性、⾼可靠性、⾼可⽤性、可扩展性等特点（基于Hbase）。⽬前TimeTunnel在阿⾥巴巴⼴泛的应⽤于⽇志收集、数据监控、⼴告反馈、量⼦统计、数据库同步等领域。12. LogglyLoggly 也是⼀个健壮的⽇志分析⼯具，强调简洁朴素让开发者⽤起来⽅便。13. PaperTrailsPaperTrails 擅长从多台机器上查找⽇志，并提供⼀个合并的窗⼝，使⽤起来很⽅便。是基于⽂本格式的。如果需要⽀持先进的集成、预测和报告功能，就显得⼒不从⼼了。14. Graylog2⽤ MongoDB 和 ElasticSearch ⽀持的⽤来存储与搜索⽇志错误的⼯具。它致⼒于帮助开发者找到并修复程序中的错误。15. Takipi for Logs对于⽇志分析⼯具来说，最⼤的缺点就是你必须要有⽇志可以分析。从集成开发环境的⾓度看，如果没有异常报告，或者没有错误信息的数据，你就没办法知道哪⾥出问题了，这样世界上任何⼯具都帮不了你了！Debug 就卡在这⾥了。:(在 Takipi 的⼀项优势就是可以跳过⽇志⽂件，进⼊到调试信息中。这样你就能看到真实的源代码和错误范围的变量了。了解更多点击这⾥。Takipi 会报告所有的异常和错误，并且告诉你哪⾥出错了，即使是多线程或者是发⽣在多台机器上。1分钟之内就能安装，维护费⽤不⾜2%.参考：