百度总是不收录网站的原因
一个新网站做好了之后,在保证内容没有问题的情形下,需要向各大搜索引擎提交网址,之后网页会被搜索引擎收录和展现,那么有时候也会碰到网站明明提交了很久却一直没有收录,这是为什么呢?
请从几点去查询:
看看robots.txt文件是否有禁止搜索引擎蜘蛛爬取抓取。
robots协议也称爬虫协议、爬虫规则等,是指网站可建立一个robots.txt文件来告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,而搜索引擎则通过读取robots.txt文件来识别这个页面是否允许被抓取。
有些网站会有伪静态功能,伪静态文件中是否有设置错误?
当然还有一些网站是新上线的网站,收录的时间可能会需要更长一些。