博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
ELK系列~Nxlog日志收集加转发(解决log4日志换行导致json转换失败问题)
阅读量:6848 次
发布时间:2019-06-26

本文共 3767 字,大约阅读时间需要 12 分钟。

本文章将会继承上一篇文章,主要讲通过工具来进行日志的收集与发送,《》

Nxlog是一个日志收集工具,它将系统日志,或者指定的日志文件,统配符文件找到,然后加工,最后发送到目标位置。而目标位置有很多种,如文件系统,fluentd系统等,下面我们介绍一个使用场景,也是经常涉及到的场景。

  1. log4产生日期,日期文件名,统一后缀,按日志级别命名
  2. nxlog工具,配置,启动,发送数据
  3. fluentd配置,接受数据,打印数据

一 log4产生日期,日期文件名,统一后缀,按日志级别命名

  
View Code

产生日志的方法如下

log4net.Config.XmlConfigurator.Configure(new FileInfo("log4.config"));            for (int i = 0; i < 10; i++)            {                LogHelper.Info("test");            }            Console.WriteLine("end");

上面代码将会产生日志文件,命名比较固定,方法日志的收集工作。

二 nxlog工具,配置,启动,发送数据

安装:

配置:去掉了log4产生日志每行后面的\r标记,如果不进行处理,在json转换时会有问题

## This is a sample configuration file. See the nxlog reference manual about the## configuration options. It should be installed locally and is also available## online at http://nxlog.org/docs/## Please set the ROOT to the folder your nxlog was installed into,## otherwise it will not start.#define ROOT C:\Program Files\nxlogdefine ROOT C:\Program Files (x86)\nxlogModuledir %ROOT%\modulesCacheDir %ROOT%\dataPidfile %ROOT%\data\nxlog.pidSpoolDir %ROOT%\dataLogFile %ROOT%\data\nxlog.log 
Module xm_json
Module xm_syslog
Module im_file File "c:\dotnet\20*.log" Exec $raw_event = replace($raw_event, "\r\n", " "); Exec $raw_event = replace($raw_event, "\r", " "); Exec $raw_event = replace($raw_event, "\n", " "); Exec $raw_event = replace($raw_event, "0x0A", " "); Exec $raw_event = replace($raw_event, "0x0DA", " "); Exec $raw_event = replace($raw_event, "0x0D", " "); Module om_tcp Host 192.168.200.214 Port 24224 Exec $raw_event =$raw_event + "\n";
Path in => out
View Code

启动:nxlog -f -c conf/nxlog.conf

查看:打开fluentd端,查看它的日志,发现我们的日志已经过来了

这个东西,我在google上找了好久,最后总算是功夫不负有心人,让我找对了!当然也证明了最初的猜想是正确的,即在output中对字符进行过滤!

三 fluentd配置,接受数据,打印数据

1 运行脚本,升级需要的文件夹和文件

mkdir /scripts/fluentd -pcd /scripts/fluentdcat  > Dockerfile << 'EOF'FROM fluent/fluentd:v0.12-onbuildENV TZ=Asia/ShanghaiRUN echo "http://mirrors.aliyun.com/alpine/v3.5/main" >/etc/apk/repositories \        && echo "http://mirrors.aliyun.com/alpine/v3.5/community" >>/etc/apk/repositories \        && apk add --update tzdata \        && apk add curl \        && ln -snf /usr/share/zoneinfo/$TZ /etc/localtime \        && echo $TZ > /etc/timezoneRUN apk add  --virtual .build-deps \        sudo build-base ruby-dev \&& sudo gem sources --clear-all \&& apk del .build-deps \&& rm -rf /var/cache/apk/* \  /home/fluent/.gem/ruby/2.3.0/cache/*.gemEOFmkdir plugins -pmkdir -p /srv/volume/fluentd/cat > /scripts/fluentd/fluent.conf << 'EOF'  @type forward  port  24224  bind 0.0.0.0
 @type stdout
EOF

2 生成镜像

docker build --no-cache --pull -t pilipa/tools/fluentd ./

2 docker上直接运行

docker run --privileged=true -v /scripts/fluentd/fluent.conf:/fluentd/etc/fluent.conf pilipa/tools/fluentd
启动后出现了配置和日志相关的输出信息
日志收集总算可以告一段落了!
感谢各位的阅读!1024节日快乐!

 

转载地址:http://dvoul.baihongyu.com/

你可能感兴趣的文章
spring security+freemarker获取登陆用户的信息
查看>>
[RxJS] Implement RxJS `concatMap` by Waiting for Inner Subscriptions to Complete
查看>>
ubuntu创建idea桌面快捷方式
查看>>
详解JNDI的lookup资源引用java:/comp/env
查看>>
如何在IntelliJ IDEA中使用Git .ignore插件忽略不必要提交的文件
查看>>
愿你走出半生,归来仍是Java Parser
查看>>
C# 获取接口数据(xml格式)转为json格式
查看>>
asp.net mvc session锁问题 (转载)
查看>>
[转]决定人生的三种成本:机会成本,沉没成本,边际成本
查看>>
A Generic Particle IO Library
查看>>
Enterprise Library 系列教程
查看>>
windows下搭建iphone开发环境
查看>>
关于信号量sem_wait的整理(转)
查看>>
MVC 3 数据验证 Model Validation 详解
查看>>
POJ 2446 Chessboard (匹配)
查看>>
POJ 3414 Pots (BFS)
查看>>
利用vbs设置Java环境变量
查看>>
Ubuntu离线安装软件包
查看>>
线段树
查看>>
我们都曾经历过:生活教会我的8堂人生课
查看>>