閑暇寫一個外包網(wǎng)站的爬蟲，萬一你從這個外包網(wǎng)站弄點外快呢

數(shù)據(jù)分析

官方網(wǎng)址為 https://www.clouderwork.com/

進入全部項目列表頁面，很容易分辨出來項目的分頁方式

得到異步請求 

            
              Request URL:https://www.clouderwork.com/api/v2/jobs/search?ts=1546395904852&keyword=&budget_range=&work_status=&pagesize=20&pagenum=3&sort=1&scope=
Request Method:GET
Status Code:200 OK

參數(shù)如下 

            
                  ts:1546395904852  # 時間戳
    keyword:   # 搜索關鍵字，查找全部，使用空即可
    budget_range:   # 暫時無用
    work_status:
    pagesize:20   # 每頁數(shù)據(jù)量
    pagenum:3   # 頁碼
    sort:1   # 排序規(guī)則
    scope:
Python資源分享qun 784758214 ,內(nèi)有安裝包，PDF，學習視頻，這里是Python學習者的聚集地，零基礎，進階，都歡迎

下面就是拼接請求了，一下確定 request 相關參數(shù) 

            
              Accept:application/json, text/javascript, */*; q=0.01
Accept-Encoding:gzip, deflate, br
Accept-Language:zh-CN,zh;q=0.9
Connection:keep-alive
Cookie:
Host:www.clouderwork.com
Referer:https://www.clouderwork.com/jobs?keyword=
User-Agent:Mozilla/5.0 你自己的UA QQBrowser/10.3.3006.400
X-Requested-With:XMLHttpRequest

采用爬蟲 scrapy
這個網(wǎng)站沒有反爬措施，所以直接上就可以了 

            
              # -*- coding: utf-8 -*-
import scrapy
from scrapy import Request
import time
import json

class CloudeworkSpider(scrapy.Spider):
    name = 'cloudework'
    allowed_domains = ['www.clouderwork.com']
    start_url = 'https://www.clouderwork.com/api/v2/jobs/search?ts={times}&keyword=&budget_range=&work_status=&pagesize={pagesize}&pagenum={pagenum}&sort=1&scope='

    def start_requests(self):
        for page in range(1,353):
            yield Request(self.start_url.format(times=time.time(),pagesize=20,pagenum=page))

    def parse(self, response):
        json_data = json.loads(response.text)
        for item in  json_data["jobs"]:
            yield item

存儲數(shù)據(jù)到 mongodb 中，合計爬取到 7000+ 數(shù)據(jù)

數(shù)據(jù)分析

從mongdo讀取數(shù)據(jù) 

            
              import pymongo
import pandas as pd
from pandas import Series,DataFrame
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif']=['SimHei'] #用來正常顯示中文標簽
plt.rcParams['axes.unicode_minus']=False #用來正常顯示負號
# 連接數(shù)據(jù)庫
client = pymongo.MongoClient("localhost",27017)
cloud = client["cloud"]
collection = cloud["cloudework"]

# 加載數(shù)據(jù)
data = DataFrame(list(collection.find()))

結(jié)果顯示為 [7032 rows x 35 columns]

查看數(shù)據(jù)基本情況

使用直接 data.shape 可以查看一下數(shù)據(jù)的基本情況

查看一下工期的分布 

            
              periods = data.groupby(["period"]).size()

x = periods.index 
y = periods.values 
plt.figure()
plt.scatter(x,y, color="#03a9f4", alpha = 0.5) # 繪制圖表
plt.xlim((0, 360))
plt.ylim((0, 2000))
plt.xlabel("工期")
plt.ylabel("項目數(shù)")
plt.show()

可以看到數(shù)據(jù)散點集中在0?50天

過濾一下40天以內(nèi)的數(shù)據(jù) 

            
              periods = data.groupby(["period"]).size().reset_index(name="count")

df = periods[periods["period"]<=40]

x = df["period"]
y = df["count"]

plt.figure()
plt.scatter(x,y,label='項目數(shù)折線',color="#ff44cc")
plt.title("工期對應項目數(shù)")
plt.xlim((0, 360))
plt.ylim((0, 500))
plt.show()

發(fā)現(xiàn)竟然有1天工期的任務，可以瞅瞅都是什么任務 

            
              periods = data.groupby(["period"]).size()
data[data["period"]==1][["name","period"]]

果然比較簡單唉~~不過也沒有多少錢，有個急活1000￥

查看閱覽量排行Top10 

            
              views = data["views_count"]
top10 = views.sort_values(ascending=False)[:10]

top10 = data[data.views_count.isin(top10.values)][["name","views_count","period","summary"]]
top10
Python資源分享qun 784758214 ,內(nèi)有安裝包，PDF，學習視頻，這里是Python學習者的聚集地，零基礎，進階，都歡迎

查閱一下開發(fā)模式

看一下什么類型的項目比較多???數(shù)據(jù)上反應，網(wǎng)絡網(wǎng)站和APP最多了，所以這方面的技能的大神么，可以沖一波了