Justnotes拿到一臺干凈的centos之后,初始化Python環(huán)境,一些命令和問題記錄而已可以搞成腳本自動初始化,當(dāng)然,用docker更好基礎(chǔ)環(huán)境1.創(chuàng)建用戶sudoaddusernewusersudopasswdnewuser#設(shè)置授權(quán)不需要輸入密碼sudo/usr/sbin/visudonewuserALL=NOPASSWD:ALL2.EPEL(FedoraExtraPackagesforEnterpriseLinuxrepository)參考文
系統(tǒng) 2019-09-27 17:51:15 2038
爬蟲即網(wǎng)絡(luò)爬蟲,英文是WebSpider。翻譯過來就是網(wǎng)絡(luò)上爬行的蜘蛛,如果把互聯(lián)網(wǎng)看作一張大網(wǎng),那么爬蟲就是在大網(wǎng)上爬來爬去的蜘蛛,碰到想要的食物,就把他抓取出來。我們在瀏覽器中輸入一個網(wǎng)址,敲擊回車,看到網(wǎng)站的頁面信息。這就是瀏覽器請求了網(wǎng)站的服務(wù)器,獲取到網(wǎng)絡(luò)資源。那么,爬蟲也相當(dāng)于模擬瀏覽器發(fā)送請求,獲得到HTML代碼。HTML代碼里通常包含了標(biāo)簽和文字信息,我們就從中提取到我們想要的信息。通常爬蟲是從某個網(wǎng)站的某個頁面開始,爬取這個頁面的內(nèi)容,找
系統(tǒng) 2019-09-27 17:51:06 2038
代碼版本:3.6.31.交互式運(yùn)行代碼會直接給出表達(dá)式的結(jié)果,運(yùn)行代碼文件必須print才能在控制臺看到結(jié)果。直接給出結(jié)果:沒有print是看不到結(jié)果的:有print才能看到結(jié)果:另:交互式中可以用下劃線`_`來查看上一次輸出的結(jié)果。如果給下劃線賦值,這個效果就沒了。另另:如果變量的值是空,不會顯示2.交互式輸出會輸出原始內(nèi)容,print會輸出渲染后的內(nèi)容打印字符串會帶著引號,換行符也原樣顯示了。字符串的引號被去掉了,換行符真的換行了3.交互式每一句代碼都
系統(tǒng) 2019-09-27 17:50:56 2038
環(huán)境:Ubuntu16.4python版本:3.6.4庫:wordcloud這次我們要講的是爬取QQ音樂的評論并制成云詞圖,我們這里拿周杰倫的等你下課來舉例。第一步:獲取評論我們先打開QQ音樂,搜索周杰倫的《等你下課》,直接拉到底部,發(fā)現(xiàn)有5000多頁的評論。這時候我們要研究的就是怎樣獲取每頁的評論,這時候我們可以先按下F12,選擇NetWork,我們可以先點擊小紅點清空數(shù)據(jù),然后再點擊一次,開始監(jiān)控,然后點擊下一頁,看每次獲取評論的時候訪問獲取的是哪幾條
系統(tǒng) 2019-09-27 17:49:01 2038
通常來說,一個Python程序可以從鍵盤讀取輸入,也可以從文件讀取輸入;而程序的結(jié)果可以輸出到屏幕上,也可以保存到文件中便于以后使用。本文就來介紹Python中最基本的I/O函數(shù)。一、控制臺I/O1.讀取鍵盤輸入內(nèi)置函數(shù)input([prompt]),用于從標(biāo)準(zhǔn)輸入讀取一個行,并返回一個字符串(去掉結(jié)尾的換行符):s=input("Enteryourinput:")注:在Python3.x版本中取消了raw_input()函數(shù)。2.打印到屏幕最簡單的輸出方
系統(tǒng) 2019-09-27 17:46:46 2038
Scrapy官方介紹是Anopensourceandcollaborativeframeworkforextractingthedatayouneedfromwebsites.Inafast,simple,yetextensibleway.意思就是一個開源和協(xié)作框架,用于以快速,簡單,可擴(kuò)展的方式從網(wǎng)站中提取所需的數(shù)據(jù)。環(huán)境準(zhǔn)備本文項目使用環(huán)境及工具如下python3scrapymongodbpython3scrapy的安裝就不再敘述mongodb是用來存
系統(tǒng) 2019-09-27 17:46:17 2038
雖然Python2.x即將結(jié)束支持,但是在很多地方仍然默認(rèn)使用Python2.x,比如Centos7。本文介紹手動編譯Python3.7.3和pip3。Python3.7及pip3安裝準(zhǔn)備工作mkdir/usr/local/python3#創(chuàng)建安裝目錄wgethttps://www.python.org/ftp/python/3.7.3/Python-3.7.3.tgz#下載源文件tar-xzvfPython-3.7.3.tgz#解壓cdPython-3.
系統(tǒng) 2019-09-27 17:45:48 2038
簡介如果你經(jīng)常網(wǎng)上沖浪,這樣參差不齊的多欄布局,是不是很眼熟啊?類似的布局,似乎一夜之間出現(xiàn)在國內(nèi)外大大小小的網(wǎng)站上,比如Pinterest(貌似是最早使用這種布局的網(wǎng)站了),Mark之,蘑菇街,點點網(wǎng),以及淘寶最新上線的“哇哦”等等,倒是很流行哈~在淘寶即將上線的眾多產(chǎn)品中,你還會大量看到這樣的形式呢。這種布局適合于小數(shù)據(jù)塊,每個數(shù)據(jù)塊內(nèi)容相近且沒有側(cè)重。通常,隨著頁面滾動條向下滾動,這種布局還會不斷加載數(shù)據(jù)塊并附加至當(dāng)前尾部。所以,我們給這樣的布局起了
系統(tǒng) 2019-08-29 23:45:43 2038
盡管有43,252,003,274,489,856,000(約合4.3×1019)種不同的可能組合狀態(tài),但魔方都能在20步內(nèi)還原。北京時間8月13日消息,據(jù)國外媒體報道,相信許多人都玩過魔方,但是此前沒有人知道任意組合的魔方的最小還原步數(shù)究竟是多少。這一問題困擾了數(shù)學(xué)家長達(dá)三十多年,這個最小還原步數(shù)也被稱為“上帝之?dāng)?shù)”。美國加利福尼亞州科學(xué)家近日利用計算機(jī)破解了這一謎團(tuán),研究人員證明任意組合的魔方均可以在20步之內(nèi)還原,“上帝之?dāng)?shù)”正式定為20。這支研究團(tuán)
系統(tǒng) 2019-08-29 23:25:56 2038
隨著一個網(wǎng)站的業(yè)務(wù)不斷擴(kuò)展,數(shù)據(jù)不斷增加,數(shù)據(jù)庫的壓力也會越來越大,對數(shù)據(jù)庫或者SQL的基本優(yōu)化可能達(dá)不到最終的效果,我們可以采用讀寫分離的策略來改變現(xiàn)狀。讀寫分離現(xiàn)在被大量應(yīng)用于很多大型網(wǎng)站,這個技術(shù)也不足為奇了。ebay就做得非常好。ebay用的是oracle,聽說是用QuestSharePlex來實現(xiàn)主從復(fù)制數(shù)據(jù)。讀寫分離簡單的說是把對數(shù)據(jù)庫讀和寫的操作分開對應(yīng)不同的數(shù)據(jù)庫服務(wù)器,這樣能有效地減輕數(shù)據(jù)庫壓力,也能減輕io壓力。主數(shù)據(jù)庫提供寫操作,從數(shù)
系統(tǒng) 2019-08-29 22:36:16 2038