python3.6

threading和multiprocessing

四核+三星250G-850-SSD

自從用多進(jìn)程和多線程進(jìn)行編程，一致沒搞懂到底誰(shuí)更快。網(wǎng)上很多都說(shuō)python多進(jìn)程更快，因?yàn)镚IL(全局解釋器鎖)。但是我在寫代碼的時(shí)候，測(cè)試時(shí)間卻是多線程更快，所以這到底是怎么回事？最近再做分詞工作，原來(lái)的代碼速度太慢，想提速，所以來(lái)探求一下有效方法(文末有代碼和效果圖)

這里先來(lái)一張程序的結(jié)果圖，說(shuō)明線程和進(jìn)程誰(shuí)更快

一些定義

并行是指兩個(gè)或者多個(gè)事件在同一時(shí)刻發(fā)生。并發(fā)是指兩個(gè)或多個(gè)事件在同一時(shí)間間隔內(nèi)發(fā)生

線程是操作系統(tǒng)能夠進(jìn)行運(yùn)算調(diào)度的最小單位。它被包含在進(jìn)程之中，是進(jìn)程中的實(shí)際運(yùn)作單位。一個(gè)程序的執(zhí)行實(shí)例就是一個(gè)進(jìn)程。

實(shí)現(xiàn)過程

而python里面的多線程顯然得拿到GIL,執(zhí)行code，最后釋放GIL。所以由于GIL，多線程的時(shí)候拿不到，實(shí)際上，它是并發(fā)實(shí)現(xiàn)，即多個(gè)事件，在同一時(shí)間間隔內(nèi)發(fā)生。

但進(jìn)程有獨(dú)立GIL，所以可以并行實(shí)現(xiàn)。因此，針對(duì)多核CPU，理論上采用多進(jìn)程更能有效利用資源。

現(xiàn)實(shí)問題

在網(wǎng)上的教程里面，經(jīng)常能見到python多線程的身影。比如網(wǎng)絡(luò)爬蟲的教程、端口掃描的教程。

這里拿端口掃描來(lái)說(shuō)，大家可以用多進(jìn)程實(shí)現(xiàn)下面的腳本，會(huì)發(fā)現(xiàn)python多進(jìn)程更快。那么不就是和我們分析相悖了嗎？

            
import sys,threading
from socket import *

host = "127.0.0.1" if len(sys.argv)==1 else sys.argv[1]
portList = [i for i in range(1,1000)]
scanList = []
lock = threading.Lock()
print('Please waiting... From ',host)


def scanPort(port):
  try:
    tcp = socket(AF_INET,SOCK_STREAM)
    tcp.connect((host,port))
  except:
    pass
  else:
    if lock.acquire():
      print('[+]port',port,'open')
      lock.release()
  finally:
    tcp.close()

for p in portList:
  t = threading.Thread(target=scanPort,args=(p,))
  scanList.append(t)
for i in range(len(portList)):
  scanList[i].start()
for i in range(len(portList)):
  scanList[i].join()
          

誰(shuí)更快

因?yàn)閜ython鎖的問題，線程進(jìn)行鎖競(jìng)爭(zhēng)、切換線程，會(huì)消耗資源。所以，大膽猜測(cè)一下：

在CPU密集型任務(wù)下，多進(jìn)程更快，或者說(shuō)效果更好；而IO密集型，多線程能有效提高效率。

大家看一下下面的代碼：

            
import time
import threading
import multiprocessing

max_process = 4
max_thread = max_process

def fun(n,n2):
  #cpu密集型
  for i in range(0,n):
    for j in range(0,(int)(n*n*n*n2)):
      t = i*j

def thread_main(n2):
  thread_list = []
  for i in range(0,max_thread):
    t = threading.Thread(target=fun,args=(50,n2))
    thread_list.append(t)

  start = time.time()
  print(' [+] much thread start')
  for i in thread_list:
    i.start()
  for i in thread_list:
    i.join()
  print(' [-] much thread use ',time.time()-start,'s')

def process_main(n2):
  p = multiprocessing.Pool(max_process)
  for i in range(0,max_process):
    p.apply_async(func = fun,args=(50,n2))
  start = time.time()
  print(' [+] much process start')
  p.close()#關(guān)閉進(jìn)程池
  p.join()#等待所有子進(jìn)程完畢
  print(' [-] much process use ',time.time()-start,'s')

if __name__=='__main__':
  print("[++]When n=50,n2=0.1:")
  thread_main(0.1)
  process_main(0.1)
  print("[++]When n=50,n2=1:")
  thread_main(1)
  process_main(1)
  print("[++]When n=50,n2=10:")
  thread_main(10)
  process_main(10)
          

結(jié)果如下：

可以看出來(lái)，當(dāng)對(duì)cpu使用率越來(lái)越高的時(shí)候（代碼循環(huán)越多的時(shí)候），差距越來(lái)越大。驗(yàn)證我們猜想

CPU和IO密集型

1、CPU密集型代碼(各種循環(huán)處理、計(jì)數(shù)等等)

2、IO密集型代碼(文件處理、網(wǎng)絡(luò)爬蟲等)

判斷方法：

1、直接看CPU占用率, 硬盤IO讀寫速度

2、計(jì)算較多->CPU;時(shí)間等待較多(如網(wǎng)絡(luò)爬蟲)->IO

3、請(qǐng)自行百度

以上這篇python多進(jìn)程和多線程究竟誰(shuí)更快(詳解)就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。