黄色网页视频 I 影音先锋日日狠狠久久 I 秋霞午夜毛片 I 秋霞一二三区 I 国产成人片无码视频 I 国产 精品 自在自线 I av免费观看网站 I 日本精品久久久久中文字幕5 I 91看视频 I 看全色黄大色黄女片18 I 精品不卡一区 I 亚洲最新精品 I 欧美 激情 在线 I 人妻少妇精品久久 I 国产99视频精品免费专区 I 欧美影院 I 欧美精品在欧美一区二区少妇 I av大片网站 I 国产精品黄色片 I 888久久 I 狠狠干最新 I 看看黄色一级片 I 黄色精品久久 I 三级av在线 I 69色综合 I 国产日韩欧美91 I 亚洲精品偷拍 I 激情小说亚洲图片 I 久久国产视频精品 I 国产综合精品一区二区三区 I 色婷婷国产 I 最新成人av在线 I 国产私拍精品 I 日韩成人影音 I 日日夜夜天天综合

python編寫爬蟲小程序

系統(tǒng) 2046 0

起因

深夜忽然想下載一點(diǎn)電子書來擴(kuò)充一下kindle,就想起來python學(xué)得太淺,什么“裝飾器”啊、“多線程”啊都沒有學(xué)到。
想到廖雪峰大神的python教程很經(jīng)典、很著名。就想找找有木有pdf版的下載,結(jié)果居然沒找到??!CSDN有個(gè)不完整的還騙走了我一個(gè)積分!!尼瑪!!
怒了,準(zhǔn)備寫個(gè)程序直接去爬廖雪峰的教程,然后再html轉(zhuǎn)成電子書。

過程

過程很有趣呢,用淺薄的python知識(shí),寫python程序,去爬python教程,來學(xué)習(xí)python。想想有點(diǎn)小激動(dòng)……
果然python很是方便,50行左右就OK了。直接貼代碼:

            
# coding:utf-8
import urllib

domain = 'http://www.liaoxuefeng.com'      #廖雪峰的域名
path = r'C:\Users\cyhhao2013\Desktop\temp\\'  #html要保存的路徑

# 一個(gè)html的頭文件
input = open(r'C:\Users\cyhhao2013\Desktop\0.html', 'r')
head = input.read()

# 打開python教程主界面
f = urllib.urlopen("http://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000")
home = f.read()
f.close()

# 替換所有空格回車(這樣容易好獲取url)
geturl = home.replace("\n", "")
geturl = geturl.replace(" ", "")

# 得到包含url的字符串
list = geturl.split(r'em;">
            
              ')

# 開始遍歷url List
for li in list:
  url = li.split(r'">')[0]
  url = domain + url       #拼湊url
  print url
  f = urllib.urlopen(url)
  html = f.read()

  # 獲得title為了寫文件名
  title = html.split("
              ")[0]

  # 要轉(zhuǎn)一下碼,不然加到路徑里就悲劇了
  title = title.decode('utf-8').replace("/", " ")

  # 截取正文
  html = html.split(r'
                            ')[1]
  html = html.split(r'
              

您的支持是作者寫作最大的動(dòng)力!

')[0] html = html.replace(r'src="', 'src="' + domain) # 加上頭和尾組成完整的html html = head + html+"" # 輸出文件 output = open(path + "%d" % list.index(li) + title + '.html', 'w') output.write(html) output.close()

簡直,人生苦短我用python??!

以上所述就是本文的全部內(nèi)容了,希望大家能夠喜歡。


更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號(hào)聯(lián)系: 360901061

您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對(duì)您有幫助,請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長非常感激您!手機(jī)微信長按不能支付解決辦法:請(qǐng)將微信支付二維碼保存到相冊(cè),切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對(duì)您有幫助就好】

您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對(duì)您有幫助,請(qǐng)用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會(huì)非常 感謝您的哦?。?!

發(fā)表我的評(píng)論
最新評(píng)論 總共0條評(píng)論