今天群里有個伙計問，怎么用python統計Nginx日志訪問次數前十的IP才能快一些，他表示自己使用的方式是將日志前面的IP全部放在列表中，然后通過列表的count方法來統計的，起初都還好，但是當日志量一大就很慢，問有沒有啥好的方法可以解決！

當然有，可以使用python的字典來加快速度，下面的日志文件是我用代碼模擬生成的：

            
              #!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time    : 2019/5/22 10:27
# @Author  : Cooleyes
# @File    : get_top10.py
# @Software: PyCharm

# 舞臺再大，你不表演，你永遠都是觀眾!

# 創建一個空字典用來統計IP出現的次數
ip_count = {}
with open('nginx.log') as f:
    lines = f.readlines()

for line in lines:
    # 通過spilt取得ip
    ip = line.strip().split()[0]
    # 如果ip在字典中那么值+1否則在字段中添加ip并賦值為1
    if ip in ip_count:
        ip_count[ip] += 1
    else:
        ip_count[ip] = 1

# 最后使用items方法將字段轉成元組的形式，進行排序，取出前十位
# [('192.168.1.1',11), ('192.168.1.2',10), ......]
for ip, count in  sorted(ip_count.items(), key=lambda x:x[1], reverse=True)[:10]:
    print(f'{ip} -- {count}')


            
          

以上代碼中基本都使用的是基礎的一些知識相信大家都能看懂，難一點的地方應該在最后排序那里，sorted函數排序時可以指定一個key參數，key參數必須是一個函數，其中key = lambda x:x[1] 表示使用元組中索引為1的值進行排序，也就是統計出來的次數，我測試的時候使用代碼生成了1000 0000條模擬的日志記錄，最后大概能在8~9秒內統計出來

當然聰明的朋友可以把這些代碼寫成一個函數，方便以后使用！

?

后來發現linux下可以使用一些命令組合實現這個功能，只是不知道效率如何

            
              awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr -k1 | head -n 10

            
          

?

第一篇博客，如有不足請見諒

?