這是書籍《Pandas Cookbook》書籍第05章的代碼復(fù)現(xiàn),所有代碼運行在Jupyter Notebook上,原講解地址是:
https://www.jianshu.com/p/d67080f59b06
我上傳代碼的github地址是:
https://github.com/Asunqingwen/PandasCookbook.git
github上有該書中用到的data,里面代碼會不定期更新(因為工作原因,時間不定),直到本書學(xué)習(xí)完成!
相比原講解,會穿插一些自己的理解,水平有限,請各路大神指正。
文章目錄
- 1.計算BOOL值統(tǒng)計信息
- 2.構(gòu)建多個BOOL條件
- 3.用BOOL索引過濾
- 4.用標(biāo)簽索引代替BOOL索引
- 5.用唯一和有序索引選取
- 6.觀察股價
- 7.翻譯SQL的WHERE語句
- 8.確定股票收益的正態(tài)值
- 9.使用查詢方法提高BOOL索引的可讀性
- 10.用where方法保留Series
- 11.對DataFrame的行做mask
- 12.使用BOOL值、整數(shù)、標(biāo)簽進行提取
1.計算BOOL值統(tǒng)計信息
這段主要是先通過比較運算,將DataFrame和Series內(nèi)的元素轉(zhuǎn)為BOOL類型,然后再進行響應(yīng)的運算,得注意一下value_counts(normalize=True)這個函數(shù),本來是統(tǒng)計個數(shù)的,加上normalize參數(shù)后,就變?yōu)榻y(tǒng)計頻率了,之前第01章也有用到
2.構(gòu)建多個BOOL條件
這段主要是多個條件比較,對應(yīng)多個基于BOOL變量的數(shù)據(jù)結(jié)構(gòu),而多個BOOL條件也可以用位運算符組合
3.用BOOL索引過濾
結(jié)合BOOL條件,DataFrame之類的數(shù)據(jù)結(jié)構(gòu)可以進行過濾,將符合BOOL條件的數(shù)據(jù)過濾出來
4.用標(biāo)簽索引代替BOOL索引
這段先是設(shè)置索引,然后通過loc來對相應(yīng)的索引進行選擇,對比運行時間,雖然設(shè)置索引會很費時間,但是索引只用設(shè)置一次,后面用loc來操作就快了
5.用唯一和有序索引選取
對比四種索引方式的運行時間——BOOL索引、無序行索引、有序行索引、唯一行索引,如果不算前期處理操作,四種索引方式的消耗時間依次減少
6.觀察股價
用了matplotlib中的plot()和hlines()函數(shù)——先用plot()將所有的收盤價在坐標(biāo)軸中用黑色曲線繪制,然后用plot()單獨將收盤價最高和最低的10%部分用灰色繪制,最后通過hlines()繪制水平直線,區(qū)分最高和最低的%10同其他區(qū)域
這里不同于上面用曲線顏色來區(qū)分,主要是區(qū)域填充不同顏色來區(qū)分——fill_between()可以在指定區(qū)域內(nèi)用不同的顏色來區(qū)分,先將所以區(qū)域用黑色填充,然后將最高和最低的10%區(qū)域用灰色填充
7.翻譯SQL的WHERE語句
這段沒啥特殊,主要是看下導(dǎo)入數(shù)據(jù)的基本信息,有一個地方需要注意的是:列名也可以作為導(dǎo)入數(shù)據(jù)的屬性,調(diào)用對應(yīng)的屬性名,可以獲取對應(yīng)列數(shù)據(jù)
主要是解釋下sql語句——先從EMPLOYEE表中選取薪水80000-120000的人住的DEPARTMENT(這里應(yīng)該還少了WHERE條件,即過濾出80000-120000的人),然后將DEPARTMENT分組,并降序排列,選出前5條數(shù)據(jù);之后將這5條數(shù)據(jù)的DEPARTMENT屬性提取出來,然后從EMPLOYEE表中選取不屬于這5個DEPARTMENT的數(shù)據(jù)
8.確定股票收益的正態(tài)值
這里主要涉及到了pct_change()函數(shù)——計算當(dāng)前元素與先前元素相差的百分比,axis參數(shù)可以調(diào)整按行還是按列計算
經(jīng)過z-score處理后,數(shù)據(jù)其實進行了標(biāo)準(zhǔn)化,使得數(shù)據(jù)整體分布符合標(biāo)準(zhǔn)正態(tài)分布
9.使用查詢方法提高BOOL索引的可讀性
查詢語句邏輯上有點類似于人腦的查詢邏輯,都是很直白的表述,只是如果要用到變量,就需要@符號來獲取變量的值
10.用where方法保留Series
當(dāng)我們用BOOL條件作為索引時,如果是[]運算符索引,索引出的數(shù)據(jù)會去掉符合False條件的數(shù)據(jù),size可能比原數(shù)據(jù)小;如果用where()函數(shù)索引,索引除的數(shù)據(jù)會將符合False條件的數(shù)據(jù)用缺失值NaN代替,size和原數(shù)據(jù)一樣大,如果不想用NaN代替,可以設(shè)置other參數(shù),用指定的數(shù)據(jù)代替
clip()函數(shù)效果等同于上面BOOL條件索引和where()的結(jié)合
11.對DataFrame的行做mask
mask()函數(shù)會得到BOOL條件中符合False的結(jié)果,注意看BOOL條件,以及輸出結(jié)果中title_year的數(shù)值
通過BOOL條件,選出和mask一樣的結(jié)果,但是兩者結(jié)果不等,shape一樣,因為mask方法會產(chǎn)生許多缺失值NaN,而NaN是不等于本身的,且數(shù)值類型的NaN統(tǒng)一變?yōu)楦↑c型
利用pandas對象專有比較函數(shù),就能判斷mask和BOOL條件得出的兩個對象是相等的
通過運行時間對比,利用BOOL條件索引的速度遠遠快于利用mask()函數(shù)的索引速度
12.使用BOOL值、整數(shù)、標(biāo)簽進行提取
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯(lián)系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
