良玉的博客 点点滴滴,积水成河_良玉的博客_页游、手游linux运维工程师之路

shell通过curl或者wget去抓网站信息

search=$1
page=$2
name=$3
year=`date +%Y`
month=`date +%m`
day=`date +%d`
_dir=/home/wwwroot/default/picture/zb_users/upload/${year}/${month}/${day}/${name}/${page}/
mkdir -p ${_dir}
_file=/tmp/search.tmp
url=http://pic.sogou.com/pics?query=${search}\&page=${page}
echo `date`" "$url>>/tmp/down_sogo.tmp
wget --timeout=30 ${url} -O ${_file}
j=1
mkdir -p ${_dir}
for i in `cat ${_file}|sed 's/"/\n/g'|grep http|egrep -v "cdn|html|sogou|qzone|qq|htm|zhishi|deskcar"|egrep "*.jpg|*.png|*.jpge"|sort|uniq`
do
wget --timeout=30 $i -O ${_dir}/${name}_`date +%s`_${j}.jpg
j=`expr $j + 1`
sleep 5
done
cd ${_dir}/
for delfile in `file *|grep "empty"|awk -F: '{print $1}'|sort|uniq`
do
rm -f ${_dir}/$delfile
done


通过curl或者wget去下载搜狗的图片站里的url,然后自己分析,并且下载

标签: shellcurlwget抓网站

作者:良玉 分类:Shell 浏览:513 评论:0
留言列表
发表评论
来宾的头像