自己的小網(wǎng)站跑在阿里云的ECS上面,偶爾也去分析分析自己網(wǎng)站服務器日志,看看網(wǎng)站的訪問量?？纯从袥]有黑闊搞破壞！于是收集，整理一些服務器日志分析命令，大家可以試試！

1、查看有多少個IP訪問：

 awk '{print $1}' log_file|sort|uniq|wc -l

PS: wc -l 看看有多少行

2、查看某一個頁面被訪問的次數(shù)：

grep "/index.php" log_file | wc -l

3、查看每一個IP訪問了多少個頁面：

awk '{++S[$1]} END {for (a in S) print a,S[a]}' log_file > log.txt
sort -n -t ' ' -k 2 log.txt # 配合sort進一步排序

4、將每個IP訪問的頁面數(shù)進行從小到大排序：

awk '{++S[$1]} END {for (a in S) print S[a],a}' log_file | sort -n

5、查看某一個IP訪問了哪些頁面：

grep ^111.111.111.111 log_file| awk '{print $1,$7}'


6、去掉搜索引擎統(tǒng)計的頁面：

awk '{print $12,$1}' log_file | grep ^/"Mozilla | awk '{print $2}' |sort | uniq | wc -l

7、查看2015年8月16日14時這一個小時內有多少IP訪問:

awk '{print $4,$1}' log_file | grep 16/Aug/2015:14 | awk '{print $2}'| sort | uniq | wc -l


8、查看訪問前十個ip地址

awk '{print $1}' |sort|uniq -c|sort -nr |head -10 access_loguniq -c 相當于分組統(tǒng)計并把統(tǒng)計數(shù)放在最前面cat access.log|awk '{print $1}'|sort|uniq -c|sort -nr|head -10 cat access.log|awk '{counts[$(11)]+=1}; END {for(url in counts) print counts[url], url}

9、訪問次數(shù)最多的10個文件或頁面

 cat log_file|awk '{print $11}'|sort|uniq -c|sort -nr | head -10 cat log_file|awk '{print $11}'|sort|uniq -c|sort -nr|head -20 awk '{print $1}' log_file |sort -n -r |uniq -c | sort -n -r | head -20 # 訪問量最大的前20個ip

10、通過子域名訪問次數(shù)，依據(jù)referer來計算，稍有不準

cat access.log | awk '{print $11}' | sed -e ' s/http://////' -e ' s///.*//' | sort | uniq -c | sort -rn | head -20


11、列出傳輸大小最大的幾個文件

cat www.access.log |awk '($7~//.php/){print $10 " " $1 " " $4 " " $7}'|sort -nr|head -100

12、列出輸出大于200000byte(約200kb)的頁面以及對應頁面發(fā)生次數(shù)

cat www.access.log |awk '($10 > 200000 && $7~//.php/){print $7}'|sort -n|uniq -c|sort -nr|head -100

13、如果日志最后一列記錄的是頁面文件傳輸時間，則有列出到客戶端最耗時的頁面

cat www.access.log |awk '($7~//.php/){print $NF " " $1 " " $4 " " $7}'|sort -nr|head -100

14、列出最最耗時的頁面(超過60秒的)的以及對應頁面發(fā)生次數(shù)

cat www.access.log |awk '($NF > 60 && $7~//.php/){print $7}'|sort -n|uniq -c|sort -nr|head -100