建站服务器
老东家监测Redis的慢查询日志，采用Crontab 每隔一段时间对慢查询日志采样,然后追加写入一个文本文件。
所以文本文件中有很多重复的慢查询日志
如何对整段重复的慢查询日志去重呢？
采用Shell 命令的方式最简单和直接。
awk '/^1\\\\)/{print s;s=""};{ s=(s" "$0)}; END{print s } ' b.txt | sort | uniq | sed 's/ /\\\\n /g' | awk '/^ 1\\\\) \\\\(integer\\\\)/{rc =rc 1;rowdata=rc") \\\\t" $1" "$2" "$3"\\\\n\\\\t"$4" "$5" "$6" "$7"\\\\n\\\\t"$8" "$9" "$10;print rowdata};/^ /{print "\\\\t"$0} END{print "不重复日志总数:" rc}'
核心就是把整段的redis日志先合并为一行，去重之后，在还原格式。
下面是用于测试的附件
redisSlowLog.txt
附王工对这个问题的需求描述和说明。
https://blog.csdn.net/wzy0623/article/details/83652539?tdsourcetag=s_pcqq_aiomsg
更多关于云服务器，域名注册，虚拟主机的问题，请访问西部数码官网：www.west.cn
