2023年7月17日发(作者：)

浅谈云原⽣系统⽇志收集在数栈的实践本⽂整理⾃：数栈是云原⽣—站式数据中台PaaS，我们在github上有⼀个有趣的开源项⽬：，欢迎给我们点个star！star！star！FlinkX是⼀个基于Flink的批流统⼀的数据同步⼯具，既可以采集静态的数据，⽐如MySQL，HDFS等，也可以采集实时变化的数据，⽐如MySQL binlog，Kafka等，是全域、异构、批流⼀体的数据同步引擎，⼤家如果有兴趣，欢迎来github社区找我们玩~⼀、常规打法ELK谈到⽇志收集，估计⼤家第⼀个想到的就是ELK这个⽐较成熟的⽅案，如果是特别针对云原⽣上的，那么将采集器稍微变⼀下为 Fluentd 组成 EFK 即可。以上两种⽅案其实没有本质上的区别，采集器换了换⽽已。最终存储、查询等等采⽤的还是 elasticsearch 这⼀套。elasticsearch确实功能丰富、⾮常强⼤，但是代价也是极其昂贵的，elasticsearch 采⽤全⽂索引的⽅式，对存储以及内存的要求⽐较⾼，⽽这些代价换来的功能对于⽇常⽇志管理来说却是不常⽤的。这些缺点在主机模式下其实是可以容忍的，但在云原⽣模式下就显得⽐较臃肿了。⼆、不讲武德PLGPLG 是 promtail+loki+grafana 的合称，这是⼀套⾮常适合云原⽣下⽇志的采集⽅案。grafana ⼤家会⽐较熟悉，⼀个⾮常棒的可视化的框架，⽀持多种数据源。最常见的就是将prometheus的数据进⾏可视化展⽰。⽽loki就是今天我们要谈的主⾓，这个也是grafana 家的产品，promtail 则是 loki 的官⽅⽇志采集器。与elk相⽐这⼀套⽅案⾮常轻量级，功能实⽤，使⽤起来简单易⽤，并且在展⽰上采⽤ grafana 减少引⼊可视化的框架，展⽰终端上的统⼀也有利于⽤户的使⽤。（⼀） ⽇志新贵lokiLoki是受Prometheus启发的⽔平可扩展，⾼度可⽤的多租户⽇志聚合系统。它的设计具有很⾼的成本效益，并且易于操作。它不索引⽇志的内容，⽽是为每个⽇志流设置⼀组标签。与其他⽇志聚合系统相⽐，Loki 不对⽇志进⾏全⽂本索引。通过存储压缩的，⾮结构化的⽇志以及仅索引元数据，Loki更加易于操作且运⾏成本更低。

使⽤与Prometheus相同的标签对⽇志流进⾏索引和分组，从⽽使您能够使⽤与Prometheus相同的标签在指标和⽇志之间⽆缝切换。

特别适合存储Kubernetes Pod⽇志。诸如Pod标签之类的元数据会⾃动被抓取并建⽴索引。

Grafana原⽣⽀持（需要Grafana v6.0以上）。这段是loki 在 GitHub 上的介绍，可以看出这是⼀款为云原⽣⽽打造的轻量级⽇志聚合系统。⽬前社区⾮常活跃。⽽且采⽤ prometheus类似的标签的思想，与 grafana 打通进⾏可视化展⽰，⽆论是思想还是⽤法都⾮常的“云原⽣”。（⼆） ♂