使用curl實現多線程

curl一般用來抓取網頁，第二種就是get或者post數據，第三種應用就是實現PHP的多線程任務

下面來實現多線程的

可以返回：

• URLINFO_EFFECTIVE_URL ?– 最后一個有效的URL地址
• CURLINFO_HTTP_CODE ?– 最后一個收到的HTTP代碼
• CURLINFO_FILETIME ?– 遠程獲取文檔的時間，如果無法獲取，則返回值為“-1”
• CURLINFO_TOTAL_TIME ?– 最后一次傳輸所消耗的時間
• CURLINFO_NAMELOOKUP_TIME ?– 名稱解析所消耗的時間
• CURLINFO_CONNECT_TIME ?– 建立連接所消耗的時間
• CURLINFO_PRETRANSFER_TIME ?– 從建立連接到準備傳輸所使用的時間
• CURLINFO_STARTTRANSFER_TIME ?– 從建立連接到傳輸開始所使用的時間
• CURLINFO_REDIRECT_TIME ?– 在事務傳輸開始前重定向所使用的時間
• CURLINFO_SIZE_UPLOAD ?– 上傳數據量的總值
• CURLINFO_SIZE_DOWNLOAD ?– 下載數據量的總值
• CURLINFO_SPEED_DOWNLOAD ?– 平均下載速度
• CURLINFO_SPEED_UPLOAD ?– 平均上傳速度
• CURLINFO_HEADER_SIZE ?– header部分的大小
• CURLINFO_HEADER_OUT ?– 發送請求的字符串
• CURLINFO_REQUEST_SIZE ?– 在HTTP請求中有問題的請求的大小
• CURLINFO_SSL_VERIFYRESULT ?– 通過設置 CURLOPT_SSL_VERIFYPEER 返回的SSL證書驗證請求的結果
• CURLINFO_CONTENT_LENGTH_DOWNLOAD ?– 從 Content-Length: ?field中讀取的下載內容長度
• CURLINFO_CONTENT_LENGTH_UPLOAD ?– 上傳內容大小的說明
• CURLINFO_CONTENT_TYPE ?– 下載內容的 Content-Type: 值，NULL表示服務器沒有發送有效的 Content-Type: ?header??? ??
• 
  

    <?php
/*
curl 多線程抓取
*/

 /**
     * curl 多線程
     *
     * @param array $array 并行網址
     * @param int $timeout 超時時間
     * @return array
     */
 function Curl_http($array,$timeout){
 	$res = array();
 	$mh = curl_multi_init();//創建多個curl語柄
	$startime = getmicrotime();
 	foreach($array as $k=>$url){
 		$conn[$k]=curl_init($url);

        curl_setopt($conn[$k], CURLOPT_TIMEOUT, $timeout);//設置超時時間
        curl_setopt($conn[$k], CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; MSIE 5.01; Windows NT 5.0)');
        curl_setopt($conn[$k], CURLOPT_MAXREDIRS, 7);//HTTp定向級別
        curl_setopt($conn[$k], CURLOPT_HEADER, 0);//這里不要header，加塊效率
        curl_setopt($conn[$k], CURLOPT_FOLLOWLOCATION, 1); // 302 redirect
        curl_setopt($conn[$k],CURLOPT_RETURNTRANSFER,1);
        curl_multi_add_handle ($mh,$conn[$k]);
 	}
	 //防止死循環耗死cpu 這段是根據網上的寫法
		do {
			$mrc = curl_multi_exec($mh,$active);//當無數據，active=true
		} while ($mrc == CURLM_CALL_MULTI_PERFORM);//當正在接受數據時
		while ($active and $mrc == CURLM_OK) {//當無數據時或請求暫停時，active=true
			if (curl_multi_select($mh) != -1) {
				do {
					$mrc = curl_multi_exec($mh, $active);
				} while ($mrc == CURLM_CALL_MULTI_PERFORM);
			}
		}

 	foreach ($array as $k => $url) {
 		  curl_error($conn[$k]);
    	  $res[$k]=curl_multi_getcontent($conn[$k]);//獲得返回信息
    	  $header[$k]=curl_getinfo($conn[$k]);//返回頭信息
    	  curl_close($conn[$k]);//關閉語柄
    	  curl_multi_remove_handle($mh  , $conn[$k]);   //釋放資源
		}

		curl_multi_close($mh);
		$endtime = getmicrotime();
		$diff_time = $endtime - $startime;

		return array('diff_time'=>$diff_time,
					 'return'=>$res,
					'header'=>$header
					);

 }
 //計算當前時間
 function getmicrotime() {
	    list($usec, $sec) = explode(" ",microtime());
	    return ((float)$usec + (float)$sec);
	}

	//測試一下，curl 三個網址
	$array = array(
				"http://www.weibo.com/",
				"http://www.renren.com/",
				"http://www.qq.com/"
				);

	$data = Curl_http($array,'10');//調用
	var_dump($data);//輸出

?>
  

?

關于do while的那段解釋：

因為$active要等全部url數據接受完畢才變成false，所以這里用到了curl_multi_exec的返回值判斷是否還有數據，

當有數 據的時候就不停調用curl_multi_exec，暫時沒有數據就進入select階段，新數據一來就可以被喚醒繼續執行。

這里的好處就是CPU的無謂 消耗沒有了。更詳細的說明： http://hi.baidu.com/%D4%C2%D2%B9%C4%FD%ED%F8/blog/item/9dfcf4fbe6b84374024f563d.html

?

這個多線程的寫法步驟：

第一步：調用curl_multi_init

第二步：循環調用curl_multi_add_handle

這一步需要注意的是，curl_multi_add_handle的第二個參數是由curl_init而來的子handle。

第三步：持續調用curl_multi_exec

第四步：根據需要循環調用curl_multi_getcontent獲取結果

第五步：調用curl_multi_remove_handle，并為每個字handle調用curl_close

第六步：調用curl_multi_close

多線程的測試效果圖：

總結：36個http請求，從執行的是時間順序上來看，三個網站的ip交叉，說明是同時并發的！

?

?

?

?

?

?

?

使用curl實現多線程