這里主要講了bs4解析方法和json方法，以8684網頁為例子，爬取了全國公交線路importrequestsimporttimefrombs4importBeautifulSoupimportjsonfromxpinyinimportPinyinheaders={'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/76.0.
系統 2019-09-27 17:53:12 1947
概述到2020年，Python2的官方維護期就要結束了，越來越多的Python項目從Python2切換到了Python3。其實在實際工作中，很多伙伴都還是在用Python2的思維寫Python3的代碼。給大家總結一下Python3一些新的更方便的特性！希望你們看完后也能高效率的編寫代碼f-strings(3.6+)在Python里面，我們經常使用format函數來格式化字符串，例如：user="JaneDoe"action="buy"log_message
系統 2019-09-27 17:53:11 1947
什么是異常？一般情況下，在python無法正常處理程序時就會發生一個異常（異常是python對象，表示一個錯誤），也就是我們俗稱的程序崩了。異常就是程序運行時候發生錯誤的信號（在程序出現錯誤的時候，則會產生一個異常，若程序沒有處理他，則會拋出該異常，程序的運行也隨之終止）。異常的處理步驟：1、可預知的異常：如果錯誤發生的條件是可預知的，需要用if進行處理，在錯誤發生之前進行預防。2、未知的異常：try:代碼塊except異常類型:異常處理的方法else:如
系統 2019-09-27 17:53:08 1947
如下所示：#coding:utf-8importbinasciia='worker'#先把worker轉換成二進制數據然后在用十六進制表示b=binascii.b2a_hex(a)printb#與b2a_hex相反printbinascii.a2b_hex(b)#這個功能和b2a_hex()一樣c=binascii.hexlify(a)printc#這個功能和a2b_hex()一樣printbinascii.unhexlify(c)######運行結果##
系統 2019-09-27 17:52:56 1947
今天接到一個新的任務,要對一個140多M的csv文件進行數據處理,總共有170多萬行,嘗試了導入本地的MySQL數據庫進行查詢,結果用Navicat導入直接卡死....估計是XAMPP套裝里面全默認配置的MySQL性能不給力,又嘗試用R搞一下吧結果發現光加載csv文件就要3分鐘左右的時間,相當不給力啊,翻了翻萬能的知乎發現了Python下的一個神器包:Pandas(熊貓們?),加載這個140多M的csv文件兩秒鐘就搞定,后面的分類匯總等操作也都是秒開,太牛
系統 2019-09-27 17:52:33 1947
1.常用模塊#連接數據庫connect()函數創建一個新的數據庫連接對話并返回一個新的連接實例對象PG_CONF_123={'user':'emma','port':123,'host':'192.168.1.123','password':'emma','database':'dbname'}conn=psycopg2.connect(**PG_CONF_123)#打開一個操作整個數據庫的光標連接對象可以創建光標用來執行SQL語句cur=conn.cur
系統 2019-09-27 17:52:21 1947
#下載一個網頁importrequestsimportreurl='https://www.biquge5200.cc/14_14621/'#模擬瀏覽器發送http請求response=requests.get(url)#編碼方式response.encoding='utf-8',如果下載下來的網頁內容有中文亂碼現象就需要加上這一句話#網頁源碼html=response.text#[0]取列表下第0個元素.#eg:title的輸出結果為：['斗神狂飆無彈窗
系統 2019-09-27 17:52:18 1947
yield的功能類似于return，但是不同之處在于它返回的是生成器。生成器生成器是通過一個或多個yield表達式構成的函數，每一個生成器都是一個迭代器（但是迭代器不一定是生成器）。如果一個函數包含yield關鍵字，這個函數就會變為一個生成器。生成器并不會一次返回所有結果，而是每次遇到yield關鍵字后返回相應結果，并保留函數當前的運行狀態，等待下一次的調用。由于生成器也是一個迭代器，那么它就應該支持next方法來獲取下一個值。基本操作#通過`yield`
系統 2019-09-27 17:52:18 1947
BeautifulSoup基礎實戰安裝：pipinstallbeautifulsoup4常用指令：frombs4importBeautifulSoupasbsimporturllib.requestdata=urllib.request.urlopen("https://www.cnblogs.com/mcq1999/").read().decode("utf-8","ignore")bs1=bs(data)print(bs1.prettify())#格式
系統 2019-09-27 17:50:47 1947
在基礎知識部分的最后一章《第十三章Python基礎篇結束章》的《第13.3節圖形界面開發tkinter》簡單介紹了Python內置圖形界面標準庫tkinter，當時特別強調tkinter沒有圖形開發的設計界面，使用復雜，且存在功能問題不推薦使用，將學習朋友推薦的PyQt。本章正式進入PyQt相關內容的學習，注意PyQt是GPL軟件(GPL是GNUGeneralPublicLicense的縮寫，是GNU通用公共授權非正式的中文翻譯)，不適合用于商用開發。但P
系統 2019-09-27 17:50:44 1947
