我用的是python2.6。

學習python寫爬蟲的時候，一般都會用到一個Demo-------

這個Dmoe在學習的時候確實是非常好的例子，但是我們可能需要對它進行修改，這就會出現一些問題。

再對demo進行修改的時候發現了一些編碼問題下面就發出來做個記錄。 python UnicodeEncodeError:'ascii'code can't encode characters in position 23-26：ordinal not in range(128) 這是一個編碼錯誤。

我的錯誤代碼具體如下：

?

item['intro'] = self._get_xpath_text(hxs, u'//td[contains(text(), "企業介紹")]/preceding-sibling::td/strong/text()')這樣寫就會發生下面的錯誤

?

這個錯誤我首先在dmoz_spider.py的文件頭部加入了：

# -*- coding:utf-8 -*-

發現沒有任何效果。

最后通過在下面的位置加入代碼問題就解決了。

這部分一定要在前面加入一句引用：

import sys

編碼問題得到解決了

?

?

在原例子中把爬取得內容保存成json格式，但是我們平時需要把內容保存到數據中，一般是mysql或者excel中。

在閱讀了一些文獻后發現可以這么解決，

在進行爬蟲的時候命令修改為：

scrapy crawl dmoz -o items.xml -t xml

這樣文件會直接保存成一個XML文件，再調用mysql或者excel都可以完全的導入進去。