这篇文章主要介绍了Apache下通过shell脚本提交网站404死链,需要的朋友可以参考下
正文
Apache下通过shell脚本提交网站404死链的方法
人员对于死链这个概念一定不陌生，网站的一些数据删除或页面改版等都容易制造死链，影响用户体验不说，过多的死链还会影响到网站的整体权重或排名。
百度站长平台提供的死链提交工具,可将网站存在的死链(协议死链、404页面)进行提交,可快速删除死链,帮助网站seo优化。在提交死链的文件中逐个手动填写死链的话太麻烦，工作中我们提倡复杂自动化，所以本文我们一起交流分享apache服务中通过shell脚本整理网站死链，便于我们提交。
、
1.配置apache记录搜索引擎
apache是目前网站建设最为主流的web服务，但是apache的日志文件默认是不记录百度、谷歌等各大搜索引擎的爬取程序的，所以首先需要我们设置apache的配置文件。
找到apache的配置文件httpd.conf，在配置文件中找到下面两行：
|
1
2
|
customlog "logs/access_log" common #customlog "logs/access_log" combined |
默认采用的是common，这里我们只需要将common这一行前面加#注释掉,然后将combined这一行前的#去掉即可。然后保存重启apache服务。
注：如果你的服务器上添加了多个站点，每个站点有单独的配置文件，则我们只需要在相应站点的配置文件中设置customlog项即可，例如：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
|
vim /usr/local/apache/conf/vhost/www.chanzhi.org.conf serveradmin [email protected] documentroot "/data/wwwroot/www.chanzhi.org" servername www.chanzhi.org serveralias chanzhi.org errorlog "/data/wwwlogs/www.chanzhi.org_error_apache.log" customlog "/data/wwwlogs/www.chanzhi.org_apache.log" combined setoutputfilter deflate options followsymlinks execcgi require all granted allowoverride all order allow,deny allow from all directoryindex index.html index.php |
下面是配置前后的网站日志记录格式：
配置前：
配置后：
2.编写shell脚本
我们通过shell脚本获取网站日志中指定爬虫的抓取记录，然后汇总到一个文件中，便于后期使用。代码如下，比如保存为deathlink.sh
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
|
#!/bin/bash#初始化变量#定义蜘蛛ua信息（默认是百度蜘蛛）ua='+http://www.baidu.com/search/spider.html'#前一天的日期（apache日志）date=`date +%y%m%d -d "1 day ago"`#定义日志路径logfile=/data/wwwlogs/www.chanzhi.org_apache.log-${date}.log#定义死链文件存放路径deathfile=/data/wwwroot/www.chanzhi.org/deathlink.txt#定义网站访问地址website=http://www.chanzhi.org#分析日志并保存死链数据for url in `awk -v str="${ua}" '$9=="404" && $15~str {print $7}' ${logfile}`do grep -q "$url" ${deathfile} || echo ${website}${url} >>${deathfile}done |
大家在使用该脚本时，根据自己服务器情况调整下路径和字段即可，然后执行脚本,：
|
1
|
bash deathlink.sh |
3.提交死链
执行上面脚本时候，就会在指定目录下生成包含所有获取的404页面链接的文件，每个连接占一行。例如：
最后在站长平台提交死链页面中，填写自己的死链文件地址即可，例如：
百度在审核通过之后，会将已经收录的失效链接删除，以避免失效页面链接对网站造成不良的影响。
总结
以上所述是小编给大家介绍的apache下通过shell脚本提交网站404死链的方法，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对米米素材网网站的支持！
原文链接：https://my.oschina.net/u/1385850/blog/1544586
发表评论