rsyslog详解

大家好，又见面了，我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

一、日志介绍

1. 日志概念

   日志是系统用来记录系统及应用程序运行时的一些相关信息的文本文件

2. 日志作用

   日志是为了保存相关程序的运行状态、错误信息等，为了对系统进行分析、保存历史记录以及在出现错误时发现、分析错误使用

3. linux系统日志类型

   内核信息

   服务信息

   应用程序信息

二、rsyslog

1、rsyslog介绍

rsyslog是linux系统中用来实现日志功能的服务。默认已经安装，并且自动启用。

作用：主要用来采集日志，不生产日志

其特性包括：

	支持输出日志到各种数据库，如 MySQL，PostgreSQL，MongoDB ElasticSearch，等等；
	
	通过 RELP + TCP 实现数据的可靠传输（基于此结合丰富的过滤条件可以建立一种 可靠的数据传输通道供其他应用来使用）；
	
	精细的输出格式控制以及对消息的强大 过滤能力；

	高精度时间戳；队列操作（内存，磁盘以及混合模式等）； 支持数据的加密和压缩传输等。

2、rsyslog概念

facility

设施，用来定义日志消息的来源，方便对日志进行分类

priority

日志级别，定义不同消息的级别

日志设施的配置

3、rsyslog配置

rsyslog.conf组成

• modules，模块，配置加载的模块，如：ModLoad imudp.so配置加载UDP传输模块

• global directives，全局配置，配置ryslog守护进程的全局属性，比如主信息队列大小（MainMessageQueueSize）

• rules，规则（选择器+动作），每个规则行由两部分组成，selector部分和action部分，这两部分由一个或多个空格或tab分隔，selector部分指定源和日志等级，action部分指定对应的操作

• 模板（templates）

• 输出（outputs）

常用modules

• imudp，传统方式的UDP传输，有损耗
• imtcp，基于TCP明文的传输，只在特定情况下丢失信息，并被广泛使用
• imrelp，RELP传输，不会丢失信息，但只在rsyslogd 3.15.0及以上版本中可用

规则（rules）

规则选择器（selectors）

selector也由两部分组成，设施和优先级，由点号.分隔。

第一部分为消息源或称为日志设施，第二部分为日志级别。

多个选择器用;分隔，如：*.info;mail.none。

动作（action）

action是规则描述的一部分，位于选择器的后面，规则用于处理消息

消息内容可以被写入到一个日志文件中，也可以写入到数据表表或转发到其他主机， 还可以发送给主机用户 (可以指定用户名，用 * 表示所有)

RULES配置示例

写入到本地文件中

facility.priority		action

# facility.priority  日志类型.级别
# action  保存位置(文件、用户、日志服务器)


# 记录mail日志等级为error及以上日志
mail.err							/var/log/mail_err.log

# 将mail的所有信息，除了info以外，其他的都写入/var/adm/mail
mail.*;mail.!=info   /var/adm/mail


# 紧急消息（emerg级别）将使用wall显示给当前所有登录的用户
*.=emerg   		*

# 该规则将所有alert以及更高级别的消息定向到操作员的终端，即登录的用户“root”和“joey”的终端。
*.alert      root,joey

# 如果是日志服务器格式是：
*.* @192.168.100.1 (使用UDP协议发送)
*.* @@192.168.100.1 (使用TCP协议发送)

写入到mysql数据库中

# modules, 要将日志写到mysql中需要加载ommysql模块
$ModLoad ommysql 

# rule, send to mysql
#*.*       :ommysql:database-server,database-name,database-userid,database-password
*.*       :ommysql:127.0.0.1,Syslog,syslogwriter,topsecret

模板（templates）

模板允许你指定日志信息格式

也可用于生成动态文件名，或在规则中使用

**TEMPLATE_NAME：**模板的名字；

PROPERTY：rsyslog本身支持的一些属性参数。

# 使用规则
$template TEMPLATE_NAME,"text %PROPERTY% more text", [OPTION]


## 以时间字符串开头的文件
$template DynamicFile,"/var/log/test_logs/%timegenerated%-test.log"

## 以年月日主机名为目录下的文件
$template DailyPerHostLogs,"/var/log/syslog/%$YEAR%/%$MONTH%/%$DAY%/%HOSTNAME%/messages.log"

## 自定义日志内容格式
$template  LOGFMT,"%timegenerated%  %FROMHOST-IP%  %syslogtag%  %msg%\n"

## 引用自定义的 动态文件名 中定义的内容
*.info ?DailyPerHostLogs
*.* ?DynamicFile
*.* /var/log/myinfo.log;LOGFMT

模板元素属性

修改模板日志

vim /etc/rsyslog.conf

# 创建一个名为cky_format的模板，其中 TIMESTAMP:8:15 表示timestamp属性值切片第八位到第十五位。
$template cky_format, "%$NOW% %TIMESTAMP:8:15% %hostname% %syslogseverity-text% %syslogtag% %msg%\n"
$ActionFileDefaultTemplate cky_format

#重启rsyslog
systemctl restart rsyslog

日志格式效果

# NOW | timestamp:8:15| hostname| syslogseverity-text | syslogtag | msg
2021-12-09 09:59:54 mycomputer    info    systemd:  Started System Logging Service.
#    时间戳         | 	 主机名   | 日志等级 | 服务进程 |   日志内容

三、rsyslog远程传输

1、UDP传输

Server端配置

/etc/rsyslog.conf


# Provides UDP syslog reception
$ModLoad imudp
$UDPServerRun 514
$AllowedSender UDP, 192.168.80.0/24

# This one is the template to generate the log filename dynamically, depending on the client's IP address.
# 根据客户端的IP单独存放主机日志在不同目录，syslog需要手动创建
$template Remote,"/var/log/syslog/%fromhost-ip%/%fromhost-ip%_%$YEAR%-%$MONTH%-%$DAY%.log"

# Log all messages to the dynamically formed file.
:fromhost-ip, !isequal, "127.0.0.1" ?Remote
# 排除本地主机IP日志记录，只记录远程主机日志
# 注意此规则需要在其它规则之前，否则配置没有意义，远程主机的日志也会记录到Server的日志文件中

Client端配置

/etc/rsyslog.conf

*.* @192.168.80.130

以上配置完成之后/etc/init.d/rsyslog restart

2、TCP传输

Server端配置

# Provides TCP syslog reception
$ModLoad imtcp
$InputTCPServerRun 514
$AllowedSender TCP, 192.168.80.0/24

# This one is the template to generate the log filename dynamically, depending on the client's IP address.
$template Remote,"/var/log/syslog/%fromhost-ip%/%fromhost-ip%_%$YEAR%-%$MONTH%-%$DAY%.log"

# Log all messages to the dynamically formed file.

:fromhost-ip, !isequal, "127.0.0.1" ?Remote

Client端配置

/etc/rsyslog.conf

*.* @@192.168.80.130