好湿?好紧?好多水好爽自慰,久久久噜久噜久久综合,成人做爰A片免费看黄冈,机机对机机30分钟无遮挡

主頁 > 知識庫 > batchcollect pagecollect來自官方杰奇jieqi定時采集配置方法參數詳解第1/2頁

batchcollect pagecollect來自官方杰奇jieqi定時采集配置方法參數詳解第1/2頁

熱門標簽:強訊外呼系統 愛巢地圖標注 crm外呼系統好不好 重慶人工智能電銷機器人報價 貴陽ai外呼系統 智能電銷機器人廣告語 長春極信防封電銷卡公司 電銷外呼線路改不外呼線路 電話機器人批發
前言

要實現采集,默認方式是根據配置好的采集規則,在瀏覽器提交相應的參數即可完成后面的采集入庫全部動作。
而實現定時采集,與人工在瀏覽器提交有些區別,主要分兩大步驟:
一、編寫采集的url和相關參數,訪問這個url即可實現想要的采集模式。(這個url直接在瀏覽器提交同樣可以實現采集)
二、把定時訪問這個url的功能加到系統的定時任務里面,實現無人值守的定時采集。

具體實現方法請參考下面內容:

1、對采集配置文件的解釋

任何一個采集都會用到兩個采集配置文件(跟后臺采集規則配置對應),都可以用文本編輯器打開查看。
其中 /configs/article/collectsite.php 是對總的采集站點配置,記錄了一共允許采集哪幾個站點。
里面包含類似這樣的內容:

$jieqiCollectsite['1']['name'] = '采集站點一'; 
$jieqiCollectsite['1']['config'] = 'abc_com'; 
$jieqiCollectsite['1']['url'] = 'http://www.abc.com'; 
$jieqiCollectsite['1']['subarticleid'] = 'floor($articleid/1000)';
$jieqiCollectsite['1']['enable'] = '1';

$jieqiCollectsite['2']['name'] = '采集站點二';
$jieqiCollectsite['2']['config'] = 'def_net';
$jieqiCollectsite['2']['url'] = 'http://www.def.net';
$jieqiCollectsite['2']['subarticleid'] = '';
$jieqiCollectsite['2']['enable'] = '1';

參數含義解釋如下:
['1'] - 這里的 1 表示采集網站的數字序號,不同的采集站序號不能重復。
['name'] - 采集網站名稱。
['config'] - 網站英文標識,這個網站采集規則配置文件有關,比如這個值是 abc_com ,那么采集規則配置文件就是 /configs/article/site_abc_com.php。
['url'] - 采集網站網址。
['subarticleid'] - 采集網站,文章子序號運算方式,本項目主要為了兼容以前程序,新版本里面文章子序號可以通過采集獲得。
['enable'] - 是否允許采集,1 表示允許,0 表示禁止,默認為 1。

如前面所說,每個采集網站有個專門的采集規則配置文件,/configs/article/ 目錄下以 site_ 開頭的php文件,如 /configs/article/site_abc_com.php。

里面內容都與后臺采集規則設置相對應,具體細節不一一解釋。需要了解的是本文件里面內容分兩大部分,前面內容都是對網站內容采集規則的配置,而最后面 $jieqiCollect['listcollect']['0'],$jieqiCollect['listcollect']['1'] 這樣的設置是對網站"批量采集規則"的配置,比如按最近更新采集、按排行榜采集,可以設置多個。['0'] 這里的數字 0 表示批量采集類別的數字序號,同一個網站也不能重復。

2、編寫采集內容的url及參數

這里的采集是針對多篇文章批量采集,分兩種模式:
一、按頁面批量采集,比如采集最新更新列表或者排行榜列表,每個鏈接采集一頁。
鏈接格式如下:

https://www.jb51.net/modules/article/admin/pagecollect.php?action=collect&siteid=1&collectname=0&startpageid=1&maxpagenum=1&notaddnew=0&jieqi_username=admin&jieqi_userpassword=1234

參數含義解釋如下:
www.jb51.net - 是指您的網址。
action - 字符串,程序執行的動作命令,固定值為 collect。
siteid - 數字類型,要采集的網站序號,具體哪個網站對應什么序號見配置文件collectsite.php。
collectname - 數字類型,按頁面批量采集的類別序號,見配置文件site_xxxx.php里面下面的。$jieqiCollect['listcollect']['0'] 這樣配置的數字。
startpageid -- 頁碼標志,表示從列表的第幾頁開始采集。一般是數字類型,有些網站也可能是字符串。
maxpagenum -- 數字類型,表示表示一共采集幾頁。(默認為 1 ,如果要采集多頁,是需要瀏覽器跳轉的,只有在windows環境下調用瀏覽器時候有效,linux下調用wget時候最多只能采集一頁,需要采集多頁可設置多個采集命令。)
notaddnew -- 數字類型,0-表示采集全部文章,1-表示只更新本站已有的文章。
jieqi_username - 字符串,用戶名(這個用戶必須是本站有權限采集的用戶)。
jieqi_userpassword - 字符串,用戶密碼。


二、按照文章序號批量采集
鏈接格式如下:
https://www.jb51.net/modules/article/admin/batchcollect.php?action=bcollect&siteid=1&batchids=123,234,345&jieqi_username=admin&jieqi_userpassword=1234

參數含義解釋如下:
www.jb51.net - 是指您的網址。
action - 字符串,程序執行的動作命令,固定值為 bcollect。
siteid - 數字類型,要采集的網站序號,具體哪個網站對應什么序號見配置文件collectsite.php。
batchids - 要采集的對方網站文章序號(不是本地的文章序號),采集多個文章,序號用英文逗號分開,如 123,234,345。
jieqi_username - 字符串,用戶名(這個用戶必須是本站有權限采集的用戶)。
jieqi_userpassword - 字符串,用戶密碼。

注:一個url需要放到IE瀏覽器里面提交的時候,整個url最大長度度不要超過2083字節,所以一般建議這里的url不要設置成太長,文章多的可以拆分成多個url。


3、利用系統任務實現定時采集

一、windows環境下做法

windows里面可以用系統的任務計劃來實現定時執行程序,不過首先需要制作一個批處理文件,在這個文件里面用命令來調用瀏覽器來執行采集url。需要注意的是命令只能打開瀏覽器而不會采集好之后自動關閉,要實現采集完自動關閉可以通過javascript實現。自動關閉本窗口的js代碼為:

<script language="javascript"> self.opener=null; setTimeout("window.close();", 3000); </script>

這里的參數 3000 是指延遲關閉時間,單位是毫秒,3000表示延遲3秒關閉。
這段代碼可以在兩個地方加入:

一個是加入到提示信息模板 /themes/風格名稱/msgwin.html 里面,<body>和</body>之間加入上面那段js。這樣的效果是整個系統任何提示信息頁面都會在3秒鐘后自動關閉。

如果您希望僅僅自動關閉采集成功后的提示頁面,可以在采集提示信息的語言包里面加入以上javascript,這個配置文件是 /modules/article/lang/lang_collect.php, 里面 $jieqiLang['article']['batch_collect_success'] 是采集成功的提示信息,這個值原來是:

'恭喜您,全部文章采集完成!';

改成下面這樣即可自動關閉

'恭喜您,全部文章采集完成!<script language="javascript"> self.opener=null; setTimeout("window.close();", 3000); </script>';
12下一頁閱讀全文

標簽:吳忠 山南 上海 陜西 內蒙古 廣安 清遠 保定

巨人網絡通訊聲明:本文標題《batchcollect pagecollect來自官方杰奇jieqi定時采集配置方法參數詳解第1/2頁》,本文關鍵詞  batchcollect,pagecollect,來自,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《batchcollect pagecollect來自官方杰奇jieqi定時采集配置方法參數詳解第1/2頁》相關的同類信息!
  • 本頁收集關于batchcollect pagecollect來自官方杰奇jieqi定時采集配置方法參數詳解第1/2頁的相關信息資訊供網民參考!
  • 推薦文章