看知乎的時候發現了一個 “如何正確地吐槽” 收藏夾，里面的一些神回復實在很搞笑，但是一頁一頁地看又有點麻煩，而且每次都要打開網頁，于是想如果全部爬下來到一個文件里面，是不是看起來很爽，并且隨時可以看到全部的，于是就開始動手了。

工具

1.Python 2.7

2.BeautifulSoup

分析網頁

我們先來看看知乎上該網頁的情況：

網址：

，容易看到，網址是有規律的，page慢慢遞增，這樣就能夠實現全部爬取了。

再來看一下我們要爬取的內容：?

我們要爬取兩個內容：問題和回答，回答僅限于顯示了全部內容的回答，如下面這種就不能爬取，因為好像無法展開（反正我不會。。），再說答案不全的話爬來也沒用，所以就不爬答案不全的了吧。

好，那么下面我們要找到他們在網頁源代碼中的位置：

即我們找到問題的內容包含在

中，那么我們等會就可以在這個標簽里面找問題。

然后是回復：

有兩個地方都有回復的內容，因為上面那個的內容還包括了 等一些內容，不方便處理，我們爬下面那個的內容，因為那個里面的內容純正無污染。

修正前代碼

好，這時候我們試著寫出python代碼：

代碼雖然不常，可是寫了我半天，開始各種出問題。

運行

然后我們運行就可以爬了：

修正前結果

等運行完畢，我們打開文件howtoTucao.txt，可以看到，這樣就爬取成功了。只是格式可能還是有點問題，原來是我No Answer沒加換行，所以No Answer還會混到文本里面去，加兩個換行就可以了。