#!/bin/bash #网站域名,如https://301.cool/,最后必须带/ web_home="https://301.cool/" #定时任务列表,从系统-定时任务配置,获取唯一英文标识,多少个自己定 web_api=( 'kudian' 'xiangkan' 'taopianzy' ) #以下无需修改,默认即可 web_guding="api.php/timming/index.html?enforce=1&name=" web_ua="Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36" #开始采集 function get_cj() { cResult=$(curl --connect-timeout 100 -m 100 -k -s -L -A "$web_ua" "$1" ) echo $cResult | grep -q "数据采集完成" if [ "$?" = "0" ]; then get_tj "$cResult" else echo -e "采集失败,请检查设置!\n失败链接-->$1\n返回信息-->$cResult\n采集结束" fi } #统计数据 function get_tj() { Result=$(echo "$1" | tr "<br>" "\n") a=$(echo "$Result" | grep -c "新加入库") b=$(echo "$Result" | grep -c "更新ok") c=$(echo "$Result" | grep -c "无需更新") d=$(echo "$Result" | grep -c "跳过") e=$[a+b+c+d] echo "采集成功-->新增$a部,更新$b部,无变化$c部,跳过$d部,全部$e部" let add+=$a let update+=$b let none+=$c let jmp+=$d let all+=$e } #脚本入口 echo "苹果CMS自动采集脚本开始执行 版本:v1.0" starttime=$(date +%s) update=0 #更新 add=0 #新增 none=0 #无变化 jmp=0 # 跳过 all=0 # 全部 for url in ${web_api[@]}; do if [[ ! -z $url ]] then web_param="$web_home$web_guding$url" page=1 echo "开始采集:$url" get_cj $web_param fi done endtime=$(date +%s) echo "============================" echo "采集结束-->新增$add部,更新$update部,无变化$none部,跳过$jmp部,全部$all部,耗时$[endtime - starttime]秒" echo "============================"
© 版权声明
文章版权归作者所有,未经允许请勿转载。
THE END
暂无评论内容