本文實例講述了PHP使用curl_multi_select解決curl_multi網頁假死問題的方法。分享給大家供大家參考,具體如下:
curl_multi可以批處理事務,給網頁編程帶來很大的方便。不過在使用curl_multi的過程中,我們會遇到一個比較頭疼的問題,那就是當并發處理的事務數量過多的時候,就會出現CPU過高,網頁假死的現象,這是不可以忽視的。
今天,通過查詢相關資料和測試,終于找到了一個解決問題的方法。
正常情況下,我們是這樣使用curl_multi
的。
實例代碼:
$connomains = array(
"http://www.jb51.net/",
"http://www.163.com/",
"http://www.sina.com.cn/"
);
$mh = curl_multi_init();
foreach ($connomains as $i => $url) {
$conn[$i]=curl_init($url);
curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,1);
curl_multi_add_handle ($mh,$conn[$i]);
}
do { $n=curl_multi_exec($mh,$active); } while ($active);
foreach ($connomains as $i => $url) {
$res[$i]=curl_multi_getcontent($conn[$i]);
curl_close($conn[$i]);
}
print_r($res);
這個實例代碼有個致命弱點,就是在do循環的那段,在整個url請求期間是個死循環,它會輕易導致CPU占用很高,網頁出現假死狀態。
經過測試發現,我們可以巧妙使用curl_multi_select()
函數來解決這個問題。
方法如下:
把
do { $n=curl_multi_exec($mh,$active); } while ($active);
改為
do {
$mrc = curl_multi_exec($mh,$active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
while ($active and $mrc == CURLM_OK) {
if (curl_multi_select($mh) != -1) {
do {
$mrc = curl_multi_exec($mh, $active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
}
}
因為$active要等全部url數據接受完畢才變成false,所以這里用到了curl_multi_exec
的返回值判斷是否還有數據,當有數據的時候就不停調用curl_multi_exec
,暫時沒有數據就進入select階段,新數據一來就可以被喚醒繼續執行。這里的好處就是CPU的無謂消耗沒有了。
另外可能遇到的問題:
控制每一個請求的超時時間,在curl_multi_add_handle
之前通過curl_setopt
去做:
curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);
判斷是否超時了或者其他錯誤,在curl_multi_getcontent
之前用:
了解multi接口
當程序需要進行多次curl并發請求的時候,curl提供的multi接口就派上用場了。流暢大致是這樣的:
1)、curl_multi _init
初始化一個multi curl
對象,為了同時進行多個curl的并發訪問,我們需要初始化多個easy curl對象,使用curl_easy_setopt
進行相關設置。
2)、調用curl_multi _add_handle
把easy curl對象添加到multi curl對象中。
3)、添加完畢后執行curl_multi_perform
方法進行并發的訪問。
4)、訪問結束后curl_multi_remove_handle
移除相關easy curl對象,curl_easy_cleanup
清除easy curl對象。
5)、最后curl_multi_cleanup
清除multi curl對象。
一個簡單明了的PHP使用curl_multi_add_handle
并行處理實例
?php
// 創建一對cURL資源
$ch1 = curl_init();
$ch2 = curl_init();
// 設置URL和相應的選項
curl_setopt($ch1, CURLOPT_URL, "http://www.jb51.net/");
curl_setopt($ch1, CURLOPT_HEADER, 0);
curl_setopt($ch2, CURLOPT_URL, "http://www.baidu.com/");
curl_setopt($ch2, CURLOPT_HEADER, 0);
// 創建批處理cURL句柄
$mh = curl_multi_init();
// 增加2個句柄
curl_multi_add_handle($mh,$ch1);
curl_multi_add_handle($mh,$ch2);
$running=null;
// 執行批處理句柄
do {
curl_multi_exec($mh,$running);
} while($running > 0);
// 關閉全部句柄
curl_multi_remove_handle($mh, $ch1);
curl_multi_remove_handle($mh, $ch2);
curl_multi_close($mh);
?>
更多關于PHP相關內容感興趣的讀者可查看本站專題:《php curl用法總結》、《PHP網絡編程技巧總結》、《PHP數組(Array)操作技巧大全》、《php字符串(string)用法總結》、《PHP數據結構與算法教程》及《PHP中json格式數據操作技巧匯總》
希望本文所述對大家PHP程序設計有所幫助。
您可能感興趣的文章:- PHP curl偽造IP地址和header信息代碼實例
- php curl中gzip的壓縮性能測試實例分析
- php使用curl檢測網頁是否被百度收錄的示例分享
- php中通過curl檢測頁面是否被百度收錄
- php使用curl判斷網頁404(不存在)的方法
- php下利用curl判斷遠程文件是否存在的實現代碼
- php使用curl詳細解析及問題匯總
- 關于PHP的curl開啟問題探討
- 關于php curl獲取301或302轉向的網址問題的解決方法
- php使用curl獲取header檢測開啟GZip壓縮的方法