【原】Fluentd配置：缓存（Buffer）配置项

Fluentd的output插件支持<buffer>配置项，用以缓存日志事件，提高系统性能。可在此配置项中设置buffer插件的相关参数。

1. Buffer配置项概览
   由于是output缓存，<buffer>需要在<match>中进行配置。
   <match tag.*> @type file
# ... parameters for output plugin
<buffer> # buffer section parameters ... </buffer>
# <buffer> section can be configured just once</match>
   
   
2. buffer插件类型
   使用@type参数在<buffer>中指定缓存插件类型：
   <buffer> @type file</buffer>
   Fluentd内核绑定了两种缓存插件：memory和file。也可以根据需要安装其他插件。
   @type可以省略。省略则使用output插件默认的缓存插件（如果有的话），否则就使用memory。
   对于大多数场景，建议使用file buffer插件，可以更多的持久化事件，避免memory的易失性。
   
   
3. Chunk键值配置
   output插件将收集到的事件组织为buffer chunk进行管理。可在<buffer>中配置chunk的键值，来决定如何收集日志事件。
   <buffer ARGUMENT_CHUNK_KEYS> # ...</buffer>

chunk的键值形式为逗号分隔的字符串，或者留空。


1. 默认chunk键
   若不设置<buffer>的chunk键，并且所在output插件也没有指定默认的chunk键，output插件将会把所有收匹配到的事件写入同一个chunk，直到写满才进行flush。
   <match tag.**> # ... <buffer> # ... </buffer></match>
# No chunk keys: All events will be appended into the same chunk.
11:59:30 web.access {"key1":"yay","key2":100} --| |12:00:01 web.access {"key1":"foo","key2":200} --|---> CHUNK_A |12:00:25 ssh.login {"key1":"yay","key2":100} --|
2. chunk为tag
   若使用tag作为chunk的键值，output插件将会为每类tag维护一个chunk，相同tag的事件被写入同一个chunk。
   <match tag.**> # ... <buffer tag> # ... </buffer></match>
# Tag chunk key: events will be separated per tags
11:59:30 web.access {"key1":"yay","key2":100} --| |---> CHUNK_A12:00:01 web.access {"key1":"foo","key2":200} --|
12:00:25 ssh.login {"key1":"yay","key2":100} ------> CHUNK_B
3. chunk为time
   若time作为chunk的键值（此时必须设置buffer的time_key参数），output插件将按照time_key的设定将事件写入每个time_key_chunk。
   Time key的计算公式为：time(unix time) / timekey(seconds)。例如：
   timekey 60: ["12:00:00", ..., "12:00:59"], ["12:01:00", ..., "12:01:59"], ...timekey 180: ["12:00:00", ..., "12:02:59"], ["12:03:00", ..., "12:05:59"], ...timekey 3600: ["12:00:00", ..., "12:59:59"], ["13:00:00", ..., "13:59:59"], ...

   事件会按照计算出的时间范围写入不同的chunk，并将在chunk过期后进行flush。

   <match tag.**> # ... <buffer time> timekey 1h # chunks per hours ("3600" also available) timekey_wait 5m # 5mins delay for flush ("300" also available) </buffer></match>
# Time chunk key: events will be separated for hours (by timekey 3600)
11:59:30 web.access {"key1":"yay","key2":100} ------> CHUNK_A
12:00:01 web.access {"key1":"foo","key2":200} --| |---> CHUNK_B12:00:25 ssh.login {"key1":"yay","key2":100} --|

   timekey_wait参数用来设定chunk的输出延迟时间，事件在chunk中停留“延迟时间”后被flush。默认值为600（10分钟）。
   

   timekey: 3600 ------------------------------------------------------- time range for chunk | timekey_wait | actual flush time 12:00:00 - 12:59:59 | 0s | 13:00:00 12:00:00 - 12:59:59 | 60s (1m) | 13:01:00 12:00:00 - 12:59:59 | 600s (10m) | 13:10:00

   上边表格展示了每小时的缓存事件在不同的timekey_wait设置情况下实际的flush时间。
   

4. 使用事件record的字段作为chunk键
   除去tag和time，chunk的键值还可以设置为事件record的字段。output插件将会根据这个字段的值来将事件写入不同的chunk。
   <match tag.**> # ... <buffer key1> # ... </buffer></match>
# Chunk keys: events will be separated by values of "key1"
11:59:30 web.access {"key1":"yay","key2":100} --|---> CHUNK_A |12:00:01 web.access {"key1":"foo","key2":200} -)|(--> CHUNK_B |12:00:25 ssh.login {"key1":"yay","key2":100} --|

   这里，事件将会按照key1的不同取值写入相应的chunk中。

   chunk键值支持嵌套的record字段。可以参照插件的record_accessor语法来访问嵌套字段。例如：
   

   <match tag.**> # ... <buffer $.nest.field> # access record['nest']['field'] # ... </buffer></match>
5. 键值组合
   可以使用多个chunk键来配置缓存方式。
   # <buffer tag,time>
11:58:01 ssh.login {"key1":"yay","key2":100} ------> CHUNK_A
11:59:13 web.access {"key1":"yay","key2":100} --| |---> CHUNK_B11:59:30 web.access {"key1":"yay","key2":100} --|
12:00:01 web.access {"key1":"foo","key2":200} ------> CHUNK_C
12:00:25 ssh.login {"key1":"yay","key2":100} ------> CHUNK_D

   这里，将事件按照tag+time的方式缓存到不同的chunk中。

   当然，chunk键值组合不宜过多，否则会降低I/O性能，也会消耗系统资源。
   

6. 空键
   

   chunk的键值可以设置为[]，用以禁用output插件默认的chunk键配置。

   <match tag.**> # ... <buffer []> # ... </buffer></match>
4. 占位符

   Fluentd配置文件支持占位符变量，这些变量会在运行中被替换为实际的值。比如out_file插件支持在path参数中设置占位符。
   

   # chunk_key: tag# ${tag} will be replaced with actual tag string<match log.*> @type file path /data/${tag}/access.log #=> "/data/log.map/access.log" <buffer tag> # ... </buffer></match>
5. buffer参数
   除了上边chunk键值的配置，buffer还支持以下参数。
1. 部分参数
1. chunk_limit_size：每个chunk的最大空间。memory默认为8MB，file默认为256MB。
2. chunk_limit_records：chunk可存储的最大事件数
3. total_limit_size：buffer插件可用的最大空间。memory默认为512MB，file默认为64GB。超出此值，后续操作会失败，数据会丢失！
4. chunk_full_threshold：chunk写满阈值，默认为0.95。当chunk实际占用存储超过此百分比后，事件会被flush。
5. compress：数据压缩方式（text或gzip），默认text表示不压缩。若设为gzip，Fluentd会将事件压缩后才写入chunk，在flush到output之前会自动解压。
   
2. flush参数
   用以配置flush方式，以优化性能（包括时延和吞吐量）
1. flush_at_shutdown：程序退出时进行flush
2. flush_mode：flush模式。lazy，每timekey一次；interval，根据flush_interval的设置进行间隔flush；immediate，事件写入chunk后就flush。default，chunk键为time时等同lazy，其他等同interval。
3. flush_interval：默认每60s flush一次。
4. flush_thread_count：执行flush的线程数，默认1.
5. flush_thread_interval：flush线程等待间隔。
6. overflow_action：buffer队列满时执行的操作。throw_exception，抛异常；block，阻塞input插件；drop_oldest_chunk，丢弃oldestchunk。
   
3. 重试参数
1. retry_timeout：flush失败后最大重试时长，默认72h。
2. retry_forever：是否一直重试
3. retry_max_times：最大重试次数
4. retry_wait：重试等待时长

【码字不易，若对您有帮助，希望可以收藏转发】