logstash过滤错误日志_高考专业报名指南

logstash过滤错误日志_高考专业报名指南Logstash 参考指南(关闭Logstash)

大家好,又见面了,我是你们的朋友全栈君。

关闭Logstash

如果你将Logstash作为服务运行,请使用以下命令之一来停止它:

  • systemd使用:
systemctl stop logstash
  • upstart使用:
initctl stop logstash
  • sysv使用:
/etc/init.d/logstash stop

如果你正在POSIX系统的控制台中直接运行Logstash,那么你可以通过向Logstash发送SIGTERM来停止它,例如:

kill -TERM {logstash_pid}

或者,在控制台中输入Ctrl-C

在受控关闭期间会发生什么?

当你试图关闭一个正在运行的Logstash实例时,在它可以安全关闭之前,Logstash会执行几个步骤,它必须:

  • 停止所有输入、过滤和输出插件
  • 处理所有运行中的事件
  • 终止Logstash进程

以下条件影响关闭过程:

  • 一个输入插件以缓慢的速度接收数据。
  • 一个缓慢的过滤器,例如执行sleep(10000)的Ruby过滤器或执行非常繁重查询的Elasticsearch过滤器。
  • 一个断开连接的输出插件,正在等待重新连接以刷新运行中的事件。

这些情况使得关闭过程的持续时间和成功不可预测。

Logstash有一个失速检测机制,可以分析关闭期间管道和插件的行为,这种机制定期生成关于内部队列中运行中的事件计数和繁忙工作线程列表的信息。

为使Logstash在中断运行的情况下强制终止,当你启动Logstash时使用--pipeline.unsafe_shutdown

不安全的关闭、Logstash进程的强制关闭或由于任何其他原因导致的Logstash进程崩溃都可能导致数据丢失(除非你启用了Logstash使用持久队列),尽可能安全的关闭Logstash。

失速检测的例子

在本例中,缓慢的过滤器执行可以防止管道完全关闭,由于Logstash是由--pipeline.unsafe_shutdown标志启动的,因此关闭会导致20个事件的丢失。

bin/logstash -e 'input { generator { } } filter { ruby { code => "sleep 10000" } }
  output { stdout { codec => dots } }' -w 1 --pipeline.unsafe_shutdown
Pipeline main started
^CSIGINT received. Shutting down the agent. {:level=>:warn}
stopping pipeline {:id=>"main", :level=>:warn}
Received shutdown signal, but pipeline is still waiting for in-flight events
to be processed. Sending another ^C will force quit Logstash, but this may cause
data loss. {:level=>:warn}
{"inflight_count"=>125, "stalling_thread_info"=>{["LogStash::Filters::Ruby",
{"code"=>"sleep 10000"}]=>[{"thread_id"=>19, "name"=>"[main]>worker0",
"current_call"=>"(ruby filter code):1:in `sleep'"}]}} {:level=>:warn}
The shutdown process appears to be stalled due to busy or blocked plugins.
Check the logs for more information. {:level=>:error}
{"inflight_count"=>125, "stalling_thread_info"=>{["LogStash::Filters::Ruby",
{"code"=>"sleep 10000"}]=>[{"thread_id"=>19, "name"=>"[main]>worker0",
"current_call"=>"(ruby filter code):1:in `sleep'"}]}} {:level=>:warn}
{"inflight_count"=>125, "stalling_thread_info"=>{["LogStash::Filters::Ruby",
{"code"=>"sleep 10000"}]=>[{"thread_id"=>19, "name"=>"[main]>worker0",
"current_call"=>"(ruby filter code):1:in `sleep'"}]}} {:level=>:warn}
Forcefully quitting logstash.. {:level=>:fatal}

--pipeline.unsafe_shutdown未启用,Logstash继续定期运行并生成这些报告。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/107278.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 企业微信通讯录回调密文解析及微信支付回调密文解析异常处理

    企业微信通讯录回调密文解析及微信支付回调密文解析异常处理企业微信通讯录回调密文解析及微信支付回调密文解析异常处理产生异常表现:javax.crypto.IllegalBlockSizeException:Inputlengthmustbemultipleof16whendecryp原因:因为某些国家的进口管制限制,Java发布的运行环境包中的加解密有一定的限制解决方案:替换jdk和jre中的local_policy.jar,US_export_policy.jar具体目录:1、jre目录/lib/security/policy/

  • 常见数据结构与算法整理总结(下)_常用数据结构与算法

    常见数据结构与算法整理总结(下)_常用数据结构与算法数据结构是以某种形式将数据组织在一起的集合,它不仅存储数据,还支持访问和处理数据的操作。算法是为求解一个问题需要遵循的、被清楚指定的简单指令的集合。下面是自己整理的常用数据结构与算法相关内容,如有错误

  • java内存模型介绍[通俗易懂]

    java内存模型介绍[通俗易懂]####Java内存模型Java内存模型描述了Java虚拟机和计算机内存之间是如何协同工作的。一个Java虚拟机也是一个完整的计算机的模型,因此,这个模型自然也包含了内存模型。如果你想写出表现良好的并发程序就必须理解Java内存模型。Java内存模型描述了不同线程间如何和何时看到被其他线程修改的共享变量以及在需要时如何同步访问共享变量。原来的Java内存模型存在很多不足,所以在Java5时进行了修改。这个一直使用至今。####Java内存模型每个运行在Java虚拟机中的线程都拥有自己的线程栈。这

  • c++实现顺序表的基本操作_c语言实现顺序表

    c++实现顺序表的基本操作_c语言实现顺序表C++顺序表的实现// 顺序表.cpp: 定义控制台应用程序的入口点。//Author:kgvito YinZongYao//Date: 2017.12.27 #include<iostream>using namespace std; #define MAXSIZE 3#define Node ElemType#define ERROR 0typedef int…

  • 语义分割 实例分割 全景分割_语义分割转实例分割

    语义分割 实例分割 全景分割_语义分割转实例分割之前看过一篇使用分割思想进行目标检测,所以这里补习下一些分割相关的基础知识。这里重点说下语义分割、实力分割和全景分割的区别。1、semanticsegmentation(语义分割)通常意义上的目标分割指的就是语义分割,图像语义分割,简而言之就是对一张图片上的所有像素点进行分类语义分割(下图左)就是需要区分到图中每一点像素点,而不仅仅是矩形框框住了。但是同一物体的不同实例不需要单独分…

  • mysql分页查询如何优化_mysql分页查询优化

    mysql分页查询如何优化_mysql分页查询优化测试实验1.直接用limitstart,count分页语句,也是我程序中用的方法:select*fromproductlimitstart,count当起始页较小时,查询没有性能问题,我们分别看下从10,100,1000,10000开始分页的执行时间(每页取20条),如下:select*fromproductlimit10,200.016秒sele…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号