起因：有一天突然想看本小說，在小說網站上不能下載，廣告太多，便。。。思路：–分析網站的結構–爬取目錄（獲得章節名和鏈接）–多線程加載章節網頁–正則匹配內容–保存生成錯誤日志–鏈接單個章節txt合并為一個#-*-coding:utf-8-*-"""CreatedonTueJul218:23:492019@author:24709"""importurllibimporturllib.requestimportmultiprocessingfrombs4imp
系統 2019-09-27 17:53:50 2155
先說一個比較?宓氖慮椋涸諦聰好滓衾質蘊?下載器的時候遇到一個問題，因為保存的文件都是用音樂的標題命名的，所以碰到一些諸如「??峙/outborder」等含有非法字符（哼哼，說的就是你→_→Windows）的標題的時候，就會保存失敗。于是我想起了迅雷的解決方法：把所有的非法字符替換成下劃線。于是就引入了正則表達式的使用。一番搜索囫圇吞棗后，我寫下了這樣的函數：復制代碼代碼如下:defsanitize_filename(filename):returnre.s
系統 2019-09-27 17:53:30 2155
數據歸一化問題是數據挖掘中特征向量表達時的重要問題，當不同的特征成列在一起的時候，由于特征本身表達方式的原因而導致在絕對數值上的小數據被大數據“吃掉”的情況，這個時候我們需要做的就是對抽取出來的featuresvector進行歸一化處理，以保證每個特征被分類器平等對待。下面我描述幾種常見的NormalizationMethod，并提供相應的python實現（其實很簡單）：1、(0,1)標準化：這是最簡單也是最容易想到的方法，通過遍歷featurevecto
系統 2019-09-27 17:53:19 2155
備忘一下python中的字典如何遍歷,沒有什么太多技術含量.僅供作為初學者的我參考.復制代碼代碼如下:#!/usr/bin/envpython#coding=utf-8demoDict={'1':'Chrome','2':'Android'}forkeyindemoDict.keys():printkeyforvalueindemoDict.values():printvalueforkeyindemoDict:printkey,demoDict[key]
系統 2019-09-27 17:52:57 2155
什么是爬蟲爬蟲就是通過編寫程序模擬瀏覽器上網，然后讓其去互聯網上抓取數據的過程。爬蟲的分類1.通用爬蟲：通用爬蟲是搜索引擎（Baidu、Google、Yahoo等）“抓取系統”的重要組成部分。主要目的是將互聯網上的網頁下載到本地，形成一個互聯網內容的鏡像備份。簡單來講就是盡可能的；把互聯網上的所有的網頁下載下來，放到本地服務器里形成備分，在對這些網頁做相關處理(提取關鍵字、去掉廣告)，最后提供一個用戶檢索接口。搜索引擎如何抓取互聯網上的網站數據？門戶網站主
系統 2019-09-27 17:52:22 2155
Python產生一個數值范圍內的不重復的隨機數，可以使用random模塊中的random.sample函數，其用法如下：importrandomrandom.sample(population,k)函數從序列或集合population中返回一個長度為k的隨機數列表，并且列表中的隨機數元素之間是不重復的，如：>>>a=[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20]>>>a[1,2,3,4,5,6,7,
系統 2019-09-27 17:52:06 2155
本文先了解一個簡單閾值函數，以了解一個閾值算法的具體參數。然后比較不同閾值函數的區別。同樣的，先用一副圖說明本文重要大綱：#!usr/bin/envpython#coding:utf-8importcv2img=cv2.imread('cat.jpg')img=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)#先將圖像矩陣進行二值化#img=cv2.imread('cat.jpg'，0)#也可以直接將圖像用灰度值讀入，其中0就表示用
系統 2019-09-27 17:51:14 2155
網絡上現有的windows下搭建scrapy教程都比較舊，一般都是咔咔咔安裝一堆軟件，太麻煩，這是因為scrapy框架用到好多不同的模塊，其實查閱最新的官網scrapy文檔，在windows下搭建scrapy框架，官方文檔是建議使用集成包的，以免安裝太過復雜而出現問題，首先百度scrapy，就可以找到scrapy的官方文檔1、找到windows下的框架安裝的文檔教程，這里建議我們安裝Anaconda或者Miniconda集成包，下面我選擇安裝Minicon
系統 2019-09-27 17:50:07 2155
本文實例講述了Pythonflask框架post接口調用。分享給大家供大家參考，具體如下：fromflaskimportFlask,render_template,requestapp=Flask(__name__)@app.route("/login",methods=['POST','GET'])deflogin():ifrequest.method=="POST":username=request.form.get('username')passwo
系統 2019-09-27 17:50:02 2155
關于我一個有思想的程序猿，終身學習實踐者，目前在一個創業團隊任teamlead，技術棧涉及Android、Python、Java和Go，這個也是我們團隊的主要技術棧。Github：https://github.com/hylinux1024微信公眾號：終身開發者(angrycode)在Python中可迭代(Iterable)、迭代器(Iterator)和生成器(Generator)這幾個概念是經常用到的，初學時對這幾個概念也是經常混淆，現在是時候把這幾個概
系統 2019-09-27 17:49:39 2155
