今天是連續第3個要過了12點才睡的日子了，希望今天可以告一個段落．

最近在考慮如何做基于 SEO 的日志分析工具, 每天都熬夜, 還真吃不消啊.


當用戶在瀏覽器地址欄輸入一個網址的時候,web服務器在返回用戶需要頁面的同時也記錄用戶的其他數據,比如用戶的瀏覽器是什么牌子的,用戶使用的IP地址,操作系統甚至記錄了用戶是輸入的網址還是從其他鏈接跳轉過來的等等。（好羅嗦）這部分記錄無疑是最基礎也是最重要的數據，很多web數據挖掘工作都是從這里作為起點進行的。

看過web服務器（比如apache ， iis ）日志的朋友們都知道，當用戶訪問一個頁面產生的日志并不是只有一行，而是有很多行。稍加注意就會發現，web服務器為當前訪問頁面中包含的每個文件（圖片、javascript腳本等）都生成了一行記錄。這一行行的記錄就組成了原始日志文件。

對SEO工作來說，分析日志是一項必不可少的基本功。與SEO最相關的信息莫過于搜索引擎的來訪記錄和從搜索引擎帶來的流量2個指標。目前國內網站用戶使用的web log 日志分析工具大多使用 awstats 一類的開源工具。可以說awstats的流行，與日志分析愛好者的引薦是有很大關系的比如 車東 等人。

雖然我也使用awstats等工具，但毫無疑問現在市場上專門針對seo的log日志分析工具還很少見。同時由于awstats采用perl編寫，加上使用awstats自有的文件格式，這就導致了在awstats的基礎上加以修改提供基于seo的日志分析功能也非容易之事。

那么基于ＳＥＯ的日志分析應該提供那些功能呢，這就是我這幾天想的問題．

目前已經實現了以下三個部分：

１．從原始日志文件中提取　頁面訪問　的記錄　．（去掉　.js , .css , .jpg 等記錄）見：＂原始Log -> 頁面　Log ＂

２．針對提取出的　頁面訪問記錄　進行派重　(bloom filter)，　提取唯一的訪問記錄．見：＂頁面Log -> sitemap ＂

３．針對提取出的 頁面訪問記錄 ，提取從 google 和 baidu 過來的搜索關鍵詞 記錄.
見：＂頁面Log-> 搜索關鍵字分析＂

準備提供的功能：
通用功能: 除去沒有意義的請求(如JPG,GIF等), 分析真實的訪問請求
多日日志: 蜘蛛的圖表
單日日志: 蜘蛛的來訪數字, 蜘蛛的來訪時間段(這個很重要,可以判定搜索引擎更新頻率)



alpha 下載地址





基于ＳＥＯ的日志分析