我在跑爬蟲程序的時(shí)候，由于爬蟲程序的等待目標(biāo)服務(wù)器返回?cái)?shù)據(jù)的時(shí)間很長(zhǎng)，而cpu占用很低，所以經(jīng)常掛著代理一跑就跑好幾百個(gè)。但是爬蟲程序通常是寫了死循環(huán)，或直到分配給該進(jìn)程的任務(wù)都跑完才退出的。如果我們想中途結(jié)束掉這些任務(wù)，是沒辦法手工一個(gè)一個(gè)kill掉的。那么該如何結(jié)束這些進(jìn)程呢？

我的方法就是在運(yùn)行爬蟲進(jìn)程時(shí)，記錄該進(jìn)程的Pid，然后在需要手動(dòng)結(jié)束時(shí)，再用語句kill掉它們。

            
for i in {1..100}
do
  nohup python NetEase_comms_proxy.py > hehe.dat 2>&1 & echo $! >> run.pid
  sleep 10
done
          

上述語句完成了將腳本在后臺(tái)運(yùn)行100便，并且將pid append到run.pid文件中。其中nohup 是 no hang up的縮寫命令。do…done之間是被循環(huán)的語句。

接下來就是kill掉它們的語句了，我用的python

            
import os

if __name__ == '__main__':
  fin = open('run.pid', 'r')
  pids = []
  for line in fin:
    pids.append(line.strip())
  for pid in pids:
    cmd = 'kill ' + pid
    os.system(cmd)

          

這樣就把記錄下來的pid全部kill掉了。

但需要注意的一點(diǎn)時(shí)，如果在任務(wù)運(yùn)行期間，有的進(jìn)程由于完成任務(wù)或者出錯(cuò)而退出。其他的程序可能會(huì)share這些進(jìn)程的Pid,這樣如果在運(yùn)行kill腳本的時(shí)候，可能附帶就把這些進(jìn)程也給Kill掉了，造成不必要的麻煩。

以上這篇用python記錄運(yùn)行pid,并在需要時(shí)kill掉它們的實(shí)例就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。