• 17630273926

告诉搜索引擎如何为您的网站建立索引

作者:郑州云优化 / 2019-11-04 22:48 / 浏览次数:
告诉搜索引擎如何为您的网站建立索引
机器人元指令
元指令(或“元标记”)是你可以给搜索关于要如何对待你的网页引擎的指令。
您可以告诉搜索引擎抓取工具,例如“不要在搜索结果中将此页面编入索引”或“不要将任何链接资产传递给任何页面上的链接”。这些指令是通过HTML页面<head>中的RobotsMeta标签(最常用)或HTTP标头中的X-Robots-Tag执行的。
机器人元标记
可以在网页HTML的<head>中使用robots元标记。它可以排除所有或特定的搜索引擎。以下是最常见的meta指令,以及您可能在哪些情况下应用它们。
index/noindex告诉引擎是否应该对页面进行爬网并将其保留在搜索引擎的索引中以进行检索。如果您选择使用“noindex”,则表示您正在与搜寻器进行通讯,以使该网页不包含在搜索结果中。默认情况下,搜索引擎假定它们可以索引所有页面,因此不需要使用“index”值。
可能使用的时间:如果您试图从Google网站索引中删除较薄的页面(例如,用户生成的个人资料页面),但仍希望访问者可以访问它们,则可以选择将页面标记为“noindex”。
follow/nofollow告诉搜索引擎页面上的链接是应该跟随还是不被跟随。“关注”会导致漫游器跟踪您页面上的链接,并将链接所有权传递给这些URL。或者,如果您选择使用“nofollow”,则搜索引擎将不会跟踪或将任何链接资产传递给页面上的链接。默认情况下,假定所有页面都具有“跟随”属性。
当你可以使用:nofollow的经常一起NOINDEX当你想阻止一个网页被索引,以及防止履带从以下网页上的链接使用。
noarchive用于限制搜索引擎保存页面的缓存副本。默认情况下,引擎将维护已索引的所有页面的可见副本,搜索者可以通过搜索结果中的缓存链接来访问它们。
何时使用:如果您经营一个电子商务网站并且价格定期变化,则可以考虑使用noarchive标签,以防止搜索者看到过时的价格。
这是一个元机器人noindex,nofollow标签的示例:
<!DOCTYPEhtml><html><head><元名称=“robots”content=“noindex,nofollow”/></head><body>...</body></html>
本示例排除所有搜索引擎将页面编入索引或跟踪任何页面上的链接。如果您要排除多个抓取工具(例如googlebot和bing),则可以使用多个机器人排除标签。
元指令影响索引编制,而不是爬网
Googlebot需要抓取您的页面才能查看其meta指令,因此,如果您试图阻止抓取工具访问某些页面,那么meta指令就无法做到这一点。必须抓取漫游器标签,以使其受到尊重。
X机器人标签
x-robots标记用于URL的HTTP标头中,如果您想大规模阻止搜索引擎,则比meta标记提供更多的灵活性和功能,因为您可以使用正则表达式,阻止非HTML文件以及应用站点范围内的noindex标记。
例如,您可以轻松排除整个文件夹或文件类型(例如moz.com/no-bake/old-recipes-to-noindex):
<Files?“\/?no\-bake\/.*”>标头设置X-Robots-Tag“noindex,nofollow”</Files>
机器人元标记中使用的派生词也可以在X-Robots-Tag中使用。
或特定的文件类型(如PDF):
<Files?“\.pdf$”>标头设置X-Robots-Tag“noindex,nofollow”</Files>
有关MetaRobot标签的详细信息,请浏览Google的RobotsMeta标签规范。
WordPress提示:
在控制台>设置>阅读中,确保未选中“搜索引擎可见性”框。这会阻止搜索引擎通过robots.txt文件进入您的网站!
了解影响爬网和索引的不同方法将帮助您避免可能导致无法找到重要页面的常见陷阱。
【郑州云优化】郑州SEO、网站建设、网站设计、服务器空间租售、网站维护、网站托管、网站优化、百度推广、自媒体营销、微信公众号
如有意向---联系我们
热门栏目
热门资讯
热门标签

网站建设 网站托管 成功案例 新闻动态 关于我们 联系我们 服务器空间 加盟合作 网站优化

备案号:ICP备*********号 网站地图/sitemap 

公司地址:河南省郑州市郑州云优化 咨询QQ:1774525808 手机:17630273926 电话:17630273926