近幾日遇到采集某網頁的時候大部分網頁OK,少部分網頁出現亂碼的問題,調試了幾日,終于發現了是含有一些非法字符造成的..特此記錄
1. 在正常情況下..可以用
import chardet
thischarset = chardet.detect(strs)["encoding"]
來獲取該文件或頁面的編碼方式
或直接抓取頁面的charset = xxxx 來獲取
2. 遇到內容中有特殊字符時指定的編碼一樣會造成亂碼
..即內容中非法字符造成的,可以采用編碼忽略非法字符的方式來處理.
strs = strs.decode("UTF-8","ignore").encode("UTF-8")
decode的第二個參數表示遇到非法字符時所采取的方式
該參數默認為拋出異常.
以上就是小編為大家帶來的python 采集中文亂碼問題的完美解決方法的全部內容了，希望對大家有所幫助，多多支持腳本之家~
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯系： 360901061
您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點擊下面給點支持吧，站長非常感激您！手機微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
