實時機票/火車票抓取系統(tǒng)是一個帶有業(yè)余性質(zhì)的系統(tǒng)，主要是作為技術(shù)的訓練場。比如說ActiveMq，RMI，WebService，即使最原始的Socket也在這里一展拳腳。
大概可以分為幾個模塊：
- 對外服務(wù)模塊 ：WebService(Axis2)，RMI的方式，原始Socket流方式（主要學習用），HTTP JSON方式。
- 日志監(jiān)控 ：提供對抓取的監(jiān)控，監(jiān)控抓取網(wǎng)站的規(guī)則變化，如果出現(xiàn)抓取錯誤等提供Email報警。
- 流量/性能監(jiān)控 ：經(jīng)過改造后的系統(tǒng)粒度非常細，運用了責任鏈的方式來把整個流程串起來，這樣可以實現(xiàn)比較細粒度的流量和性能監(jiān)控，可以知道每個流程節(jié)點（Handler）的流量情況和性能情況，5分鐘把數(shù)據(jù)刷到DB。最后以報表圖的方式展現(xiàn)出來。實現(xiàn)限流/監(jiān)控功能。
- 抓取工具 ：顧名思議，作為業(yè)務(wù)最核心的部分，實現(xiàn)對網(wǎng)站規(guī)則的解析。
各模塊講完，上一張整體的架構(gòu)圖：
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯(lián)系： 360901061
您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點擊下面給點支持吧，站長非常感激您！手機微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
