• 17630273926

告诉搜索引擎如何抓取您的网站

作者:郑州云优化 / 2019-11-04 22:37 / 浏览次数:
告诉搜索引擎如何抓取您的网站
如果您使用GoogleSearchConsole或“site:domain.com”高级搜索运算符,但发现索引中缺少某些重要页面和/或某些不重要的页面被错误地编入索引,则可以进行一些优化实施,以更好地指导Googlebot您要如何抓取网络内容。告诉搜索引擎如何抓取您的网站可以使您更好地控制索引中的内容。
大多数人都考虑过确保Google可以找到他们的重要页面,但是很容易忘记您不想Googlebot找到某些页面。这些内容可能包括诸如内容稀少的旧URL,重复的URL(例如电子商务的排序和过滤器参数),特殊的促销代码页,登台或测试页之类的内容。
要使Googlebot远离您网站的某些页面和部分,请使用robots.txt。
Robots.txt
Robots.txt文件位于网站的根目录(例如,yourdomain.com/robots.txt)中,并建议您应该和不应该爬网网站搜索引擎的哪些部分,以及它们爬网网站的速度,通过特定的robots.txt指令。
Googlebot如何处理robots.txt文件
如果Googlebot找不到网站的robots.txt文件,则会继续抓取该网站。
如果Googlebot找到了网站的robots.txt文件,则通常会遵守建议并继续抓取该网站。
如果Googlebot在尝试访问网站的robots.txt文件时遇到错误,并且无法确定该网站是否存在,它将无法抓取该网站。
【郑州云优化】郑州SEO、网站建设、网站设计、服务器空间租售、网站维护、网站托管、网站优化、百度推广、自媒体营销、微信公众号
如有意向---联系我们
热门栏目
热门资讯
热门标签

网站建设 网站托管 成功案例 新闻动态 关于我们 联系我们 服务器空间 加盟合作 网站优化

备案号:ICP备*********号 网站地图/sitemap 

公司地址:河南省郑州市郑州云优化 咨询QQ:1774525808 手机:17630273926 电话:17630273926