搬瓦工中文网
如何在ELK中高效处理Percona审计日志
前提 1、有强烈的审计需求。 2、能允许10%-15%左右的性能损失。 3、有强烈的对数据库操作实时查看需求(一般都是为了领导要求)。 Logstash 比较坑的配置 input { file { path => ["/u02/bac...
运维
B站日志系统深度解析：用户行为追踪与数据分析全攻略
B站的日志系统（Billions）从2017年5月份开始建设，基于elastic stack，面向全站提供统一的日志采集、检索、监控服务。目前集群规模20台机器，接入业务200+，单日日志量10T+。 借此机会跟大家分享一些B站在日志系统的...
如何高效使用ELK Logstash处理多行日志事件
有些日志是分多行输出的，为了能正确的处理这些多行的事件，logstash必须哪些行是单一事件的一部分。多行事件处理是比较复杂的，需依赖正确的事件顺序。最佳方法是尽早的在管道中处理以保证日志有序。这就是本文要说到的logstash管道mult...
详解etcd集群管理维护最佳实践与技巧
官方网站: https://github.com/coreos/etcd/ 环境: CentOS7 etcd-3.0.4 3节点集群示例 etcd1:192.168.8.101 etcd2:192.168.8.102 etcd3:192.1...
高效处理MySQL慢查询日志：ELK Logstash实战教程
在生产环境下，logstash 经常会遇到处理多种格式的日志，不同的日志格式，解析方法不同。下面来说说logstash处理多行日志的例子，对MySQL慢查询日志进行分析，这个经常遇到过，网络上疑问也很多。 MySQL慢查询日志格式如下： #...
使用Puppet自动化部署：sudo权限控制与MySQL数据库安装详解
云计算时代系统管理员会经常陷入一系列的重复任务中，如安装或重装系统，升级软件包，管理配置文件，添加、管理和配置系统服务等等，成百上千台服务器，够让我们抓狂的，因此自动化就非常有必要了。 Puppet 是一个客户端/服务器（C/S）架构的配置...
高性能分布式日志复制服务：DistributedLog 解析与应用实战
DL是一个高性能的日志复制服务，提供了持久化、复制以及强一致性的功能，这对于构建可靠的分布式系统都是至关重要的，如复制状态机（replicated-state-machines）、通用的发布/订阅系统、分布式数据库以及分布式队列。 Dist...
如何在Puppet中安装并配置rsync模块
1. 客户端安装rsync模块 一定要下载，不然客户端的 /etc/rsyncd.conf 该文件是空的 # cd /etc/puppet/modules #进入模块路径目录 # git clone https://github.com/...
如何高效安装和配置客户端证书颁发：Puppet系列实操指南
puppet简介 Puppet基于ruby语言开发的自动化系统配置工具，可以C/S模式或独立运行，支持对所有UNIX及类UNIX系统的配置管理，最新版本也开始支持对Windows操作系统有限的一些管理。Puppet适用于服务器管的整个过程 ...
利用ELK Logstash深度解析MongoDB日志处理技巧
上一篇是处理MySQL的慢查询日志的，其实，ELK内容就这么多，很有规律的说，一通百通，通一反万。下面说说对mongodb日志处理。 不同mongodb版本的日志格式不同，这个需要看mongodb官方对日志格式的定义，在处理前自己去做好这方...
