【原】综合使用tail、forward、copy和stdout

RealPython 2021-03-14

展开全文

我们已经介绍了几个Fluentd的输入插件和输出插件，现在先通过一个例子进行阶段总结。

本示例使用到如下插件：

in_tail, out_copy, out_stdout, out_forward, in_forward。

out_copy和out_stdout参见本次推送的后两篇文章。

本示例包含两个节点：

node_forwarder：

使用in_tail收集nginx的access日志，将其输出到stdout，同时通过out_forward转发给节点node_aggregator。

node_aggregator：

使用in_forward接收节点node_forwarder转发的日志，将其输出到stdout。

这种部署方式采用的是官方建议的高可用架构。

这两个节点位于同一服务器上，我们通过给td-agent指定不同的启动参数，来启动两个节点。

【部署过程】

首先，在服务器上部署nginx，并开启一个简单的http服务器。

nginx日志格式取默认值。

nginx日志文件路径为：/usr/local/openresty/nginx/logs/access.log

然后，在服务器上配置node_forwarder。

配置文件/etc/td-agent/node_forwarder.conf内容如下：

<source> @type tail path /usr/local/openresty/nginx/logs/access.log pos_file /tmp/td-node_forwarder.pos tag td.nginx.access <parse> @type nginx </parse></source>

<match td.nginx.*> @type copy <store> @type stdout </store> <store> @type forward <server> host 127.0.0.1 port 24224 </server> <secondary> @type file path /tmp/td-node_forwarder-failed.log </secondary> </store></match>

启动node_forwarder：

td-agent -c /etc/td-agent/node_forwarder.conf --daemon /var/run/td-agent/node_forwarder.pid -o /tmp/td-node_forwarder.log

参数说明：

-c：指定td-agent使用的配置文件

--daemon：指定pid文件

-o：指定运行日志文件路径

最后，在服务器上配置node_aggregator。

配置文件/etc/td-agent/node_aggregator.conf内容如下：

<source> @type forward</source>

<match td.nginx.*> @type stdout</match>

启动node_aggregator：

td-agent -c /etc/td-agent/node_aggregator.conf --daemon /var/run/td-agent/node_aggregator.pid -o /tmp/td-node_aggregator.log

【测试过程】

接下来，我们使用curl访问nginx：

curl http://127.0.0.1:8090/

得到如下日志：

127.0.0.1 - - [23/May/2020:18:43:09 +0800] "GET / HTTP/1.1" 200 558 "-" "curl/7.19.7 (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.27.1 zlib/1.2.3 libidn/1.18 libssh2/1.4.2"

然后分别查看这两个Fluentd节点的运行日志。

node_forwarder日志输出如下：

2020-05-23 18:43:09.000000000 +0800 td.nginx.access: {"remote":"127.0.0.1","host":"-","user":"-","method":"GET","path":"/","code":"200","size":"558","referer":"-","agent":"curl/7.19.7 (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.27.1 zlib/1.2.3 libidn/1.18 libssh2/1.4.2"}

node_aggregator日志输出如下：

2020-05-23 18:43:09.000000000 +0800 td.nginx.access: {"remote":"127.0.0.1","host":"-","user":"-","method":"GET","path":"/","code":"200","size":"558","referer":"-","agent":"curl/7.19.7 (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.27.1 zlib/1.2.3 libidn/1.18 libssh2/1.4.2"}