黄色网页视频 I 影音先锋日日狠狠久久 I 秋霞午夜毛片 I 秋霞一二三区 I 国产成人片无码视频 I 国产 精品 自在自线 I av免费观看网站 I 日本精品久久久久中文字幕5 I 91看视频 I 看全色黄大色黄女片18 I 精品不卡一区 I 亚洲最新精品 I 欧美 激情 在线 I 人妻少妇精品久久 I 国产99视频精品免费专区 I 欧美影院 I 欧美精品在欧美一区二区少妇 I av大片网站 I 国产精品黄色片 I 888久久 I 狠狠干最新 I 看看黄色一级片 I 黄色精品久久 I 三级av在线 I 69色综合 I 国产日韩欧美91 I 亚洲精品偷拍 I 激情小说亚洲图片 I 久久国产视频精品 I 国产综合精品一区二区三区 I 色婷婷国产 I 最新成人av在线 I 国产私拍精品 I 日韩成人影音 I 日日夜夜天天综合

python爬蟲 模擬登錄人人網(wǎng)過程解析

系統(tǒng) 1961 0

requests 提供了一個(gè)叫做session類,來實(shí)現(xiàn)客戶端和服務(wù)端的會(huì)話保持

使用方法

1.實(shí)例化一個(gè)session對(duì)象

2.讓session發(fā)送get或者post請(qǐng)求

            
session = requests.session()
session.get(url,headers)
          

下面就用人人網(wǎng)來實(shí)戰(zhàn)一下

            
# coding=utf-8
import requests
session = requests.session()
# 登錄的表單url
post_url = "http://www.renren.com/PLogin.do"
post_data = {"email": "your_email", "password": "your_password"}
headers = {
  "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36"
}
# 使用session發(fā)送post請(qǐng)求,cookie保存在其中
session.post(post_url, data=post_data, headers=headers)
# 在使用session進(jìn)行請(qǐng)求登陸之后才能訪問的地址
# 這是個(gè)人首頁url
r = session.get("http://www.renren.com/327550088/profile", headers=headers)
# 保存頁面到本地
with open("renren1.html", "w", encoding="utf-8") as f:
  f.write(r.content.decode('utf-8'))
          

就這么簡單,模擬登錄上人人網(wǎng)并且獲取了個(gè)人首頁信息頁面保存到本地。

其實(shí)網(wǎng)站記錄登錄狀態(tài)就是通過cookie里面攜帶的信息,如果我們發(fā)送請(qǐng)求的時(shí)候帶上登錄的cookie能不能夠訪問到只有登錄才能訪問的頁面,當(dāng)然是可以的

請(qǐng)看代碼

            
# coding=utf-8
import requests
headers = {
  "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36",
  "Cookie":"你的登錄cookie"
}
r = requests.get("http://www.renren.com/327550088/profile",headers=headers)
#保存頁面
with open("renren2.html","w",encoding="utf-8") as f:
  f.write(r.content.decode())
          

可以看到, Cookie 可以放在 headers 中,其實(shí) requests 中也有一個(gè)參數(shù)用來傳遞cookie,這個(gè)參數(shù)就是 cookies

請(qǐng)看代碼

            
# 字典生成器的用法
cookies = {i.split("=")[0]:i.split("=")[1] for i in cookies.split("; ")}
print(cookies)
r = requests.get("http://www.renren.com/327550088/profile",headers=headers,cookies=cookies)
          

以上就是本文的全部內(nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。


更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號(hào)聯(lián)系: 360901061

您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對(duì)您有幫助,請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長非常感激您!手機(jī)微信長按不能支付解決辦法:請(qǐng)將微信支付二維碼保存到相冊(cè),切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對(duì)您有幫助就好】

您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對(duì)您有幫助,請(qǐng)用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會(huì)非常 感謝您的哦!!!

發(fā)表我的評(píng)論
最新評(píng)論 總共0條評(píng)論