今天,我们来解释一个小问题。很多朋友更新了robots.txt文件后,去百度站长平台监控robots.txt是否正确,却被提示:百度暂时无法链接服务器,错误代码为301。这个时候我们该怎么办?其实解决起来也不是很难,所以今天就教大家查一下这个问题。
1、服务器是否可以正常访问!
首先要检查的是我们的服务器,应该手动访问,看能不能打开,或者打开的速度很慢,导致百度爬行延迟,爬行失败。你可以用17个测试来测试网站的整体速度。如果您发现网站速度非常慢,您应该联系您的服务提供商来解决问题。排除故障后,将恢复正常。当你在测试robots.txt的时候,可以恢复正常。
2.检查域名是否是首选域。301引起的错误!
如果服务器没有问题,请检查它是否是首选域。比如你绑定到站长平台的域名就是你的顶级域名,而你访问的网站就是你的www域名。当百度的站长平台访问时,可能会提示抓取错误。如果是这个问题,建议重新绑定站长平台域名解决。
3.检查robots.txt是否在根目录下!
如果上面没有问题,请检查你的robots.txt是否在网站的根目录下。很多朋友容易放错地方,误以为robots.txt可以放在那里。其实这个文件必须放在根目录下,大家要注意。
4.检查robots.txt是否为空
如果robots.txt文件的位置没有问题,我们应该检查robots.txt是否为空文件。如果再次上传或直接修改,可能会导致文件出错,并导致文件为空。在这种情况下,百度也会提示爬行失败。
5.刷新CDN缓存//seoti/410.html