之前想爬取一些淘寶的數(shù)據(jù)，后來發(fā)現(xiàn)需要登錄，找了很多的資料，有個使用request的sessions加上cookie來登錄的，cookie的獲取在登錄后使用開發(fā)者工具可以找到。不過這個登錄后獲得的網(wǎng)頁的代碼是靜態(tài)的，獲取動態(tài)網(wǎng)頁還得另尋他法，一般需要的數(shù)據(jù)可以在網(wǎng)頁的源碼中得到，但是你知道的，有些動態(tài)加載的就不是那么簡單了，而且我發(fā)現(xiàn)這樣獲得的源碼中，有些想要獲取的數(shù)據(jù)的格式是經(jīng)過改動的，比如我要某個商品的具體鏈接，發(fā)現(xiàn)并不能直接使用。總體而言，這是一次失
系統(tǒng) 2019-09-27 17:54:47 1952
【摘要】在前一章中，我們已經(jīng)成功嘗試分析Ajax來抓取相關數(shù)據(jù)，但是并不是所有頁面都可以通過分析Ajax來完成抓取。比如，淘寶，它的整個頁面數(shù)據(jù)確實也是通過Ajax獲取的，但是這些Ajax接口參數(shù)比較復雜，可能會包含加密密鑰等，所以如果想自己構造Ajax參數(shù)，還是比較困難的。對于這種頁面，最方便快捷的抓取方法就是通過Selenium。本節(jié)中，我們就用Selenium來模擬瀏覽器操作，抓取淘寶的商品信息，并將結果保存到MongoDB。1.本節(jié)目標本節(jié)中，我們
系統(tǒng) 2019-09-27 17:54:29 1952
戳這里~小結Python的函數(shù)具有非常靈活的參數(shù)形態(tài)，既可以實現(xiàn)簡單的調用，又可以傳入非常復雜的參數(shù)。默認參數(shù)一定要用不可變對象，如果是可變對象，程序運行時會有邏輯錯誤！要注意定義可變參數(shù)和關鍵字參數(shù)的語法：*args是可變參數(shù)，args接收的是一個tuple；**kw是關鍵字參數(shù)，kw接收的是一個dict。以及調用函數(shù)時如何傳入可變參數(shù)和關鍵字參數(shù)的語法：可變參數(shù)既可以直接傳入：func(1,2,3)，又可以先組裝list或tuple，再通過*args傳
系統(tǒng) 2019-09-27 17:54:27 1952
range([start],[end],[long])描述：根據(jù)range里的參數(shù)生成指定范圍指定步長的一個序列參數(shù)：[start]——指定范圍的左邊界，可取到[end]——指定范圍的右邊界，不可取到[long]——步長，若無步長，默認為1返回值：列表實例：>>>range(0,6,2)[0,2,4]>>>range(5)[0,1,2,3,4]xrange()描述：用法與range完全相同，生成的不是數(shù)組，而是一個生成器實例：>>>xrange(0,6,2
系統(tǒng) 2019-09-27 17:54:01 1952
閱讀目錄一多態(tài)多態(tài)指的是一類事物有多種形態(tài)動物有多種形態(tài)：人，狗，豬importabcclassAnimal(metaclass=abc.ABCMeta):#同一類事物:動物@abc.abstractmethoddeftalk(self):passclassPeople(Animal):#動物的形態(tài)之一:人deftalk(self):print('sayhello')classDog(Animal):#動物的形態(tài)之二:狗deftalk(self):prin
系統(tǒng) 2019-09-27 17:53:09 1952
進程是操作系統(tǒng)分配內存的最小單位Python中進程用到的庫multiprocessing簡單的多進程示例frommultiprocessingimportProcessfromtimeimporttime,sleepfromrandomimportrandintdefdownload_task(task_name):print(task_name+'開始下載')time=randint(1,5)sleep(time)print(task_name+f'下載
系統(tǒng) 2019-09-27 17:53:03 1952
作者：HelloGitHub-ProdesireHelloGitHub的《講解開源項目》系列，項目地址：https://github.com/HelloGitHub-Team/Article前言在前面三篇介紹argparse的文章中，我們全面了解了argparse的能力，相信不少小伙伴們都已經(jīng)摩拳擦掌，想要打造一個屬于自己的命令行工具。本文將以我們日常工作中最常見的git命令為例，講解如何使用argparse庫來實現(xiàn)一個真正可用的命令行程序。本系列文章默認
系統(tǒng) 2019-09-27 17:52:35 1952
如下所示：#-*-coding:utf-8-*-importrequestsimportthreadingimporttimeclasspostrequests():def__init__(self):self.url='請求網(wǎng)址'self.files={'unknown_image':open('劉詩詩.jpg','rb')}defpost(self):try:r=requests.post(self.url,files=self.files)print
系統(tǒng) 2019-09-27 17:52:33 1952
Python語言與Perl，C和Java等語言有許多相似之處，也有一定的差異性，以下是Python語言獲取文件后綴名和文件名的方法：#Python獲取文件后綴名的方法importos.pathdeffile_extension(path):returnos.path.splitext(path)[1]printfile_extension('/py/a.py')輸出：.py#Python獲取目錄和文件名importos.pathdeffile_extens
系統(tǒng) 2019-09-27 17:52:22 1952
python的dict用起來很方便，可以自定義key值，并通過下標訪問，示例如下：復制代碼代碼如下:>>>d={'key1':'value1',...'key2':'value2',...'key3':'value3'}>>>printd['key2']value2>>>lambda表達式也是很實用的東東，示例如下：復制代碼代碼如下:>>>f=lambdax:x**2>>>printf(2)4>>>兩者結合可以實現(xiàn)結構相似的函數(shù)調用，使用起來很方便，示例如
系統(tǒng) 2019-09-27 17:51:38 1952
