爬蟲的概念：爬蟲就是獲取網(wǎng)頁并提取和保存信息的自動化程序爬蟲的分類：主要有四類：通用網(wǎng)絡(luò)爬蟲，聚焦網(wǎng)絡(luò)爬蟲，增量式網(wǎng)絡(luò)爬蟲，深層網(wǎng)絡(luò)爬蟲爬蟲的流程：常見的幾種爬蟲問題：主要有五類：靜態(tài)網(wǎng)頁的爬取，Ajax數(shù)據(jù)的爬取，動態(tài)渲染頁面爬取，驗(yàn)證碼的識別，代理的使用常見的爬蟲框架：pyspider框架，Scrapy框架分布式爬蟲：在多臺機(jī)器上運(yùn)行爬蟲程序爬蟲的一些常用"庫"：解析庫：lxml;BeautifulSoup;pyquery;tesserocr請求庫：r
系統(tǒng) 2019-09-27 17:56:05 1986
最近在使用爬蟲爬取數(shù)據(jù)時(shí)，經(jīng)常會返回403代碼，大致意思是該IP訪問過于頻繁，被限制訪問。限制IP訪問網(wǎng)站最常用的反爬手段了，其實(shí)破解也很容易，就是在爬取網(wǎng)站是使用代理即可，這個(gè)IP被限制了，就使用其他的IP。對于高大上的公司來說，他們基本都使用收費(fèi)的代理，基本不會有什么問題，比較穩(wěn)定。像我這樣的矮矬窮，肯定是用不起收費(fèi)的代理。一般都是使用國內(nèi)免費(fèi)的代理，網(wǎng)上也有很多提供免費(fèi)的代理。很多人都是從網(wǎng)上爬取一批免費(fèi)的代理IP，存放在存儲媒介中，例如excel文
系統(tǒng) 2019-09-27 17:56:04 1986
[Python標(biāo)準(zhǔn)庫]decimal――定點(diǎn)數(shù)和浮點(diǎn)數(shù)的數(shù)學(xué)運(yùn)算作用：使用定點(diǎn)數(shù)和浮點(diǎn)數(shù)的小數(shù)運(yùn)算。Python版本：2.4及以后版本decimal模塊實(shí)現(xiàn)了定點(diǎn)和浮點(diǎn)算術(shù)運(yùn)算符，使用的是大多數(shù)人所熟悉的模型，而不是程序員熟悉的模型，即大多數(shù)計(jì)算機(jī)硬件實(shí)現(xiàn)的IEEE浮點(diǎn)數(shù)運(yùn)算。Decimal實(shí)例可以準(zhǔn)確地表示任何數(shù)，對其上取整或下取整，還可以對有效數(shù)字個(gè)數(shù)加以限制。Decimal小數(shù)值表示為Decimal類的實(shí)例。構(gòu)造函數(shù)取一個(gè)整數(shù)或字符串作為參數(shù)。使用浮
系統(tǒng) 2019-09-27 17:56:03 1986
Python跟Python3完全就是兩種語言1、importcaffeFAILED環(huán)境為Ubuntu16cuda8.0NVIDIA361.77Anaconda2。昨天莫名其妙Caffe不能用了：>>>importcaffeTraceback(mostrecentcalllast):File"",line1,inFile"/home/duchengyao/project/caffe/python/caffe/__init__.py",line1,infrom
系統(tǒng) 2019-09-27 17:55:11 1986
單向鏈表單向鏈表也叫單鏈表，是鏈表中最簡單的一種形式，它的每個(gè)節(jié)點(diǎn)包含兩個(gè)域，一個(gè)信息域（元素域）和一個(gè)鏈接域。這個(gè)鏈接指向鏈表中的下一個(gè)節(jié)點(diǎn)，而最后一個(gè)節(jié)點(diǎn)的鏈接域則指向一個(gè)空值。表元素域elem用來存放具體的數(shù)據(jù)。鏈接域next用來存放下一個(gè)節(jié)點(diǎn)的位置（python中的標(biāo)識）變量p指向鏈表的頭節(jié)點(diǎn)（首節(jié)點(diǎn)）的位置，從p出發(fā)能找到表中的任意節(jié)點(diǎn)。節(jié)點(diǎn)實(shí)現(xiàn)classNode(object):"""單鏈表的結(jié)點(diǎn)"""def__init__(self,item
系統(tǒng) 2019-09-27 17:54:18 1986
1.作用將類方法轉(zhuǎn)換為類屬性，可以用.直接獲取屬性值或者對屬性進(jìn)行賦值2.實(shí)現(xiàn)方式使用property類來實(shí)現(xiàn)，也可以使用property裝飾器實(shí)現(xiàn)，二者本質(zhì)是一樣的。多數(shù)情況下用裝飾器實(shí)現(xiàn)。classStudent(object):@propertydefscore(self):returnself._score@score.setterdefscore(self,value):ifnotisinstance(value,int):raiseValueE
系統(tǒng) 2019-09-27 17:54:11 1986
今天咱寫一個(gè)挺實(shí)用的工具，就是掃描并獲取可用的proxy首先呢，我先百度找了一個(gè)網(wǎng)站：http://www.xicidaili.com作為例子這個(gè)網(wǎng)站里公布了許多的國內(nèi)外可用的代理的ip和端口我們還是按照老樣子進(jìn)行分析，就先把所有國內(nèi)的proxy掃一遍吧點(diǎn)開國內(nèi)部分進(jìn)行審查發(fā)現(xiàn)，國內(nèi)proxy和目錄為以下url：http://www.xicidaili.com/nn/x這個(gè)x差不多兩千多頁，那么看來又要線程處理了。。。老樣子，我們嘗試是否能直接以最簡單的r
系統(tǒng) 2019-09-27 17:54:09 1986
一、python有兩種字符串類型:str和unicode1、str：常用的字符集如：gb2312、gb18030/gbk、utf-8、ascii，這些都是字符的二進(jìn)制（字節(jié)）編碼形式2、unicode：Python認(rèn)為16位的unicode才是字符的唯一內(nèi)碼3、encode：從unicode轉(zhuǎn)換成二進(jìn)制編碼，即從unicode轉(zhuǎn)換成str4、decode：從二進(jìn)制編碼轉(zhuǎn)換成unicode5、在進(jìn)行同時(shí)包含str與unicode的運(yùn)算時(shí)，Python一律都把
系統(tǒng) 2019-09-27 17:53:48 1986
Python是一種面向?qū)ο蟮慕忉屝陀?jì)算機(jī)程序設(shè)計(jì)語言。Python是純粹的自由軟件，源代碼和解釋器CPython遵循GPL（GNUGeneralPublicLicense）協(xié)議。Python語法簡潔清晰，特色之一是強(qiáng)制用空白符（whitespace）作為語句縮進(jìn)。Python的優(yōu)勢：Python相對于Matlab最大的優(yōu)勢：免費(fèi)。但既然你已經(jīng)能用上Matlab，想必不在乎這個(gè)了。Python次大的優(yōu)勢：開源。你可以大量更改科學(xué)計(jì)算的算法細(xì)節(jié)。可移植性，Ma
系統(tǒng) 2019-09-27 17:53:35 1986
如果你對深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)感興趣，但是并不知道從哪里開始，也不知道使用哪種庫，那么這里就為你提供了許多幫助。在這篇文章里，我詳細(xì)解讀了9個(gè)我最喜歡的Python深度學(xué)習(xí)庫。這個(gè)名單并不詳盡，它只是我在計(jì)算機(jī)視覺的職業(yè)生涯中使用并在某個(gè)時(shí)間段發(fā)現(xiàn)特別有用的一個(gè)庫的列表。這其中的一些庫我比別人用的多很多，尤其是Keras、mxnet和sklearn-theano。其他的一些我是間接的使用，比如Theano和TensorFlow（庫包括Keras、deepy
系統(tǒng) 2019-09-27 17:53:33 1986
