今天閑來無聊無意間看到了百度股票,就想著用python爬一下數(shù)據(jù),于是就找到了東方財經網,結合這兩個網站,寫了一個小爬蟲,數(shù)據(jù)保存在文件中,比較簡單的示例,就當做用來練習正則表達式和BeautifulSoupl了。首先頁面分析,打開東方財經網股票列表頁,和百度股票詳情頁,右鍵查看網頁源代碼,網址后面的代碼就是股票代碼,所以打算先獲取股票代碼,然后獲取詳情,廢話少說,直接上代碼吧:importreimportrequestsfrombs4importBeau
系統(tǒng) 2019-09-27 17:54:39 1959
引言最近在刷面試題,所以需要看大量的Python相關的面試題,從大量的題目中總結了很多的知識,同時也對一些題目進行拓展了,但是在看了網上的大部分面試題不是很滿意,一個是有些部分還是Python2的代碼,另一個就是回答的很簡單,有些關鍵的題目,也沒有點出為什么,最重要的是還有一些復制粘貼根本就跑不通,這種相信大家深有體會吧,這樣就導致我們可能需要去找其他人發(fā)的類似的教程。難受啊,所以我決定針對市面上大多的Python題目做一個分析,同時也希望大家盡可能的做到
系統(tǒng) 2019-09-27 17:54:17 1959
問題在做web端ui層自動化的時候會碰到文件上傳的操作,經常有朋友問到,這里總結一下解決方案第一種:type=file的上傳文件,類似如下的使用類似這樣的代碼就可以完成:driver.find_element('name','file').send_keys('./小強測試品牌.png')第二種:就是第一種除外的,實現(xiàn)起來較為麻煩,這里用到了autoit,大致步驟如下:1、下載并安裝autoit,之后在開始菜單可以看到如下AutoItWindowsInfo
系統(tǒng) 2019-09-27 17:53:55 1959
Windows?安裝lxml最好的安裝方式是通過wheel文件來安裝,http://www.lfd.uci.edu/~gohlke/pythonlibs/,從該網站找到lxml的相關文件。假如是Python3.5版本,WIndows64位系統(tǒng),那就找到lxml?3.7.2?cp35?cp35m?win_amd64.whl這個文件并下載,然后通過pip安裝。下載之后,運行如下命令安裝:pip3installwheelpip3installlxml?3.7.2
系統(tǒng) 2019-09-27 17:53:34 1959
如果直接從生成驗證碼的頁面把驗證碼下載到本地后識別,再構造表單數(shù)據(jù)發(fā)送的話,會有一個驗證碼同步的問題,即請求了兩次驗證碼,而識別出來的驗證碼并不是實際需要發(fā)送的驗證碼。有如下幾種方法解決。法1:用session:mysession=requests.Session()login_url='http://xxx.com'checkcode_url='http://yyy.com'html=mysession.get(login_url,timeout=60*
系統(tǒng) 2019-09-27 17:52:42 1959
python操作Excel首先我們先分析一下怎么去操作和流程使用哪些庫及方式本文免費直播課程分享鏈接:https://ke.qq.com/course/397896?flowToken=1009460有需要學習提升的寶寶可以進去免費報名一下1、使用的庫xlrd2、打開文件3、定位到具體的一個sheet表4、以什么方式打開分析完之后下面就是操作編寫代碼,注意看和分析#--coding:utf-8--importxlrd#打開一個文件data=xlrd.ope
系統(tǒng) 2019-09-27 17:52:40 1959
在學習轉換之前先了解以下它們的基本概念RDD:彈性分布式數(shù)據(jù)集,是一個只讀分區(qū)集合DataFrame:以命名列方式組織的分布式數(shù)據(jù)集,概念上和關系型數(shù)據(jù)庫的一張表一樣DataSet:分布式數(shù)據(jù)集合,Python暫時不支持了解了基本的概念之后,接下來我們通過代碼編寫三種數(shù)據(jù)集的形成RDD的形成frompyspark.sqlimportSparkSessionif__name__=='__main__':spark=SparkSession\.builder\
系統(tǒng) 2019-09-27 17:52:31 1959
經典的漢諾塔問題:這里我們可以利用遞歸的思想去做,遞歸中重要的三步,我們逐條來實現(xiàn):1、函數(shù)+分支結構2、遞歸鏈條3、遞歸基例函數(shù)+分支結構:defhanoi(n,start,end,mid):globalcountif:else:這里我們可以定義一個函數(shù),里面的參數(shù)有:一共有n個圓盤,從start柱子移到end柱子,中間柱子為mid。這里定義一個全局變量來計算移動的步驟數(shù),若為局部變量,會在函數(shù)內部不斷初始化,所以需要定義全局變量。遞歸基例:ifn==1
系統(tǒng) 2019-09-27 17:52:07 1959
Python裝飾器是一個消除冗余的強大工具。隨著將功能模塊化為大小合適的方法,即使是最復雜的工作流,裝飾器也能使它變成簡潔的功能。例如讓我們看看Djangoweb框架,該框架處理請求的方法接收一個方法對象,返回一個響應對象:defhandle_request(request):returnHttpResponse("Hello,World")我最近遇到一個案例,需要編寫幾個滿足下述條件的api方法:返回json響應如果是GET請求,那么返回錯誤碼做為一個注
系統(tǒng) 2019-09-27 17:52:01 1959
Python爬蟲,使用BeautifulSoup可以輕松解析頁面結果,下面是使用該方法爬取boss頁面的職位信息:包括職位名稱、薪資、地點、公司名稱、公司融資情況等信息。通過這個示例可以輕松看到BeautifulSoup的使用方法。1、爬取boss直聘的職位信息importrequestsfrombs4importBeautifulSoupfrommiddlewaresimportget_random_proxy,get_random_agentimpor
系統(tǒng) 2019-09-27 17:51:39 1959