• 17630273926

如何禁止搜索引擎抓取网站内容

作者:郑州云优化 SEO技术 / 2020-12-05 20:27 / 浏览次数:
大家做seo都是在千方百计的让搜索引擎抓取和收录,但是其实很多情况下我们还需要禁止搜索引擎抓取和收录比如,公司内部测试的网站,或者内部网,或者后台登录的页面,肯定不希望被外面的人搜索到,所以要禁止搜索引擎抓取.  那禁止搜索引擎抓取后会有什么效果呢?给大家发张禁止搜索引擎抓取网站的搜索结果截图:大家可以看到,描述没有被抓取到,而是有句提示:由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提供该页面的内容描述  所以禁止搜索引擎收录其实是通过robots.txt文件来控制的百度官方对robots.txt的解释是这样的:Robots是站点与spider沟通的重要渠道,站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分.  9月11日,百度搜索robots全新升级.升级后robots将优化对网站视频URL收录抓取情况.仅当您的网站包含不希望被视频搜索引擎收录的内容时,才需要使用robots.txt文件.如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件.  如您的网站未设置robots协议,百度搜索对网站视频URL的收录将包含视频播放页URL,及页面中的视频文件、视频周边文本等信息,搜索对已收录的短视频资源将对用户呈现为视频极速体验页.此外,综艺影视类长视频,搜索引擎仅收录页面URL.
本文由郑州云优化网站SEO优化团队网络整编而成,不代表本站观点,如需了解更多SEO优化的文章、新闻、工具和SEO优化技巧、案例、各种网站优化知识百科请进入:http://www.zzzzjy.cn/并且可以对郑州云优化优化师进行一对一问答。
【郑州云优化】郑州SEO、网站建设、网站设计、服务器空间租售、网站维护、网站托管、网站优化、百度推广、自媒体营销、微信公众号
如有意向---联系我们
热门栏目
热门资讯
热门标签

网站建设 网站托管 成功案例 新闻动态 关于我们 联系我们 服务器空间 加盟合作 网站优化

备案号:ICP备*********号 网站地图/sitemap 

公司地址:河南省郑州市郑州云优化 咨询QQ:1774525808 手机:17630273926 电话:17630273926