好湿?好紧?好多水好爽自慰,久久久噜久噜久久综合,成人做爰A片免费看黄冈,机机对机机30分钟无遮挡

主頁 > 知識庫 > Shell+Curl網站狀態檢查腳本 抓出無法訪問的站點

Shell+Curl網站狀態檢查腳本 抓出無法訪問的站點

熱門標簽:測繪地圖標注名稱 智能電銷機器人有用嗎 天津電話外呼系統排名 商機地圖標注 德陽400電話申請 鶴崗400電話申請 外呼電話系統怎么操作 怎么在百度地圖標注公司的位置 百度地圖標注直線距離

一開始搭建中國博客聯盟,既有博友提醒我,做網址大全這類網站維護很麻煩,需要大量的精力去Debug一些已夭折的網站,更是拿松哥的博客大全舉例。當然,我也是深以為然。前些時間,看到夢軒麗人的boke123網址大全的維護記錄,好像是純手工檢查,張戈實在是佩服的五體投地,太有毅力了。


現在博客聯盟也收錄的博客也已破200了,全部來自自主提交,不管你是草博還是名博,張戈不會強買強賣。由于大部分都是建站不過半年的新站,半路放棄、提前太監的博客估計還是有的,于是我決定還是把站點維護這個工作做起來。


上午用PHP做了一個放到了京東云試了下,發現檢測速度一般,要等上半天(我寫的php太蹩腳,就不獻丑了)。
隨后,我在VPS上寫了一個多線程的網站狀態檢測腳本,直接從數據庫load站點地址,然后用curl去檢測返回碼,發現速度非常好,基本1分鐘內就能出結果


以下是腳本代碼:

#!/bin/bash
#Author:ZhangGe
#Date:2014-08-21
#Desc:Check the site of ZGboke Alliance.
#取出網站數據
data=`/usr/bin/mysql -uroot -p123456 -e "use zgboke;select web_url from dir_websites where web_status='3';" -N -B | awk '{print $1}'`
if [ -z "$data" ];then
    echo "Faild to connect database!"
    exit 1
fi
test -f result.log  rm -f result.log
function delay {
    sleep 3
}
tmp_fifofile=/tmp/$$.fifo
mkfifo $tmp_fifofile
exec 6>$tmp_fifofile
rm $tmp_fifofile
#定義并發線程數,需根據vps配置進行調整。
thread=100
for ((i=0 ;i$thread;i++ ))
do
    echo
done>6
#開始多線程循環檢測
for url in $data
do
    read -u6
    {
    #curl抓取網站http狀態碼
    code=`curl -o /dev/null --retry 3 --retry-max-time 8 -s -w %{http_code} $url`
    echo "$code ---> $url">>result.log
    #判斷子線程是否執行成功,并輸出結果
    delay  {
        echo "$code ---> $url"
    } || {
        echo "Check thread error!"
    }
    echo > 6
}
done
#等待所有線程執行完畢
wait
exec 6>-
#找出非200返回碼的站點
echo List of exception website:
cat result.log | grep -v 200
exit 0

Ps:關于shell多線程腳本,后續文章會有一個詳細說明,本文篇幅有限,就不多說了。
以下是中國博客聯盟第一次成員站點存活檢測的結果:
①、 非200返回碼的異常站點:

②、腳本抓取的無法訪問站點:

人工訪問篩選結果:


wangyingxue.net(王英學博客):無法訪問,經確認處于備案中 √
www.tao0102.com(長江博客):可以訪問 √
blog.hack7d.com(Mcdull技術博客):無法訪問 ×
www.1992621.com(教師日記):可以訪問 √
www.3miaotu.com(三秒兔):無法訪問 ×
xiaoxiaomayi.com(小小螞蟻博客):可以訪問 √
www.awrui.com(李文棟博客):可以訪問 √


Ps:腳本檢測機制為:8s內未連通的判定為異常,并重試3次,最后輸出結果,若三次均異常則為000。從圖中和人工篩選可以看出,存在一些誤殺,這個和8s的設定有一定關系。可以考慮設置為更長時間,得到更準確的結果,當然最終還是要結合人工確認的,所以也沒多大關系。


后續,中國博客聯盟會制訂一個檢查周期,最短每星期檢查一次,最長一個月檢查一次,爭取讓每個展示的站點都能正常訪問。當然,我也會將每次檢查的結果公布在中國博客聯盟的站長資訊專欄,方便所有成員查看。
由于目前中國博客聯盟部署在京東云擎,無法遠程操控數據庫,所以只好暫時用半自動的模式。等以后有時間搬到了阿里云等VPS上后,將會將腳本改成全自動狀態,當有網站聯系多次檢測為失聯狀態時,將會暫時將其設置為隱藏狀態。

標簽:鎮江 百色 六盤水 優質小號 丹東 自貢 武漢 滁州

巨人網絡通訊聲明:本文標題《Shell+Curl網站狀態檢查腳本 抓出無法訪問的站點》,本文關鍵詞  Shell+Curl,網站,狀態,檢查,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《Shell+Curl網站狀態檢查腳本 抓出無法訪問的站點》相關的同類信息!
  • 本頁收集關于Shell+Curl網站狀態檢查腳本 抓出無法訪問的站點的相關信息資訊供網民參考!
  • 推薦文章
    主站蜘蛛池模板: 无套内谢少妇毛片免费看看| 钟成干白洁五次在ktv| 99国产精品热久久久久久夜夜嗨| 日本一级婬片A片AAA毛片男男| 亚州欧美激情电影| 亚洲秘?一区二区色情QQ| 男人a∨天堂色视频| 男啪女色黄无遮挡免费视频| 性做爰三级大尺度床戏| 肉色丝袜一区二区三区| 老师洗澡让我吃奶羞羞漫画| 国产欧美熟妇XXXXX乱叫| 性夜黄A片爽爽爽免费视| 裸体舞歌舞团走秀三区| 91娇喘视频| 91亚洲区国产区精品区| 我的极限运动扩张露出9| 国产精品人妻无码久久久久| 代号在线观看免费完整版| 女人与zzzxxxx0oo0| 亚洲精品久久久久99| 中国一级特黄剌激爽大片l| 蹂躏丰满女囚电影| 亚洲色熟女图激情另类图区 | 精品国偷自产在线不卡短视频| 男揉女奶gif动态图| 欧美国产精品一区二区不卡| 亚洲第二区| 涩漫网站| 免费观看又色又爽又黄网站大全 | 男人的天堂在线观看视频| 大山里的壮汉粗大炮男同| 日本三级香港三级三级人a| 腹肌男黄cay片免费网站www| 且末县| 久久996re热这里有精品直播| 亚洲国产精品美女久久久久AV| 贵妇好紧?好大?沈青| 少年被榨精H窑子开张了小说| 初爱视频教程大全免费| 又粗又硬又大又爽免费视频播放 |