正能量资讯
网站优化中robots.txt文档需要屏蔽那些目录

网站优化中robots.txt文档需要屏蔽那些目录

  网站优化运营中对于网站内部是需要进行细节优化的,今天正能量+小编为大家讲解下网站优化运营如何做好网站robots.txt文件设置,对于robots.txt文档需要屏蔽那些目录,robots.txt文档设置会对网站优化具有优势,一起去看看深圳网站制作小编为大家详细讲解吧!

  robots.txt文档是搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt,在文件中声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。对于网站优化禁止蜘蛛继续抓取与蜘蛛协议不同之处,可阅读《网站优化中Nofollow和Robots区别!》

网站优化中robots.txt文档需要屏蔽那些目录

  网站那些目录需要使用robots.txt文档禁止抓取

  1、CSS、JS目录的屏蔽

  CSS目录文件在搜索引擎的抓取中没有用处,也无法提供有价值的信息。所以强烈建议站长朋友们在Robots.txt文档中将其进行屏蔽,以提高搜索引擎的索引质量。为搜索引擎提供一个简洁明了的索引环境更易提升网站友好性。CSS样式的目录通常情况下是:CSS 或者 style。

  JS文件在搜索引擎中无法进行识别,这里只是建议,可以对其进行屏蔽,这样做也有一个好处:为搜索引擎提供一个简洁明了的索引环境;


  2、图片目录

  图片是构成网站的主要组成元素。随着现在建站越来越方便,大量CMS的出现,真正做到了会打字就会建网站而正是因为如此方便,网上出现了大量的同质化模板网站,被反复使用,这样的网站搜索引擎是肯定不喜欢的,就算是你的网站被收录了,那你的效果也是很差的。如果你非要用这种网站的话,建议你应该在robots.txt文件中进行屏蔽,通常的网站图片目录是:imags 或者 img;


  3、网站模板目录

  如上面图片目录中所说,CMS的强大和灵活,也导致了很多同质化的网站模板的出现和滥用,高度的重复性模板在搜索引擎中形成了一种冗余且模板文件常常与生成文件高度相似,同样易造成雷同内容的出现。对搜索引擎很不友好,严重的直接被搜索引擎打入冷宫,不得翻身,很多CMS有拥有独立的模板存放目录。因此,应该进行模板目录的屏蔽。通常模板目录的文件目录是:templets。


  4、屏蔽双页面的内容

  大家都知道DEDECMS可以使用静态和动态URL进行同一篇内容的访问,如果你生成全站静态了,那你必须屏蔽动态地址的URL链接。这里有两个好处:1、搜索引擎对静态的URL比动态的URL更友好、更容易收录;2、防止静态、动态URL能访问同一篇文章而被搜索引擎判为重复内容。这样做对搜索引擎友好性来说是有益无害的。


  5、模板缓存目录

  很多CMS程序都有缓存目录,这种缓存目录的好处我想不用说大家也清楚了吧,可以非常有效的提升网站的访问速度,减少网站带宽,对用户体验也是很好的。不过,这样的缓存目录也有一定的缺点,那就是会让搜索引擎进行重复的抓取,一个网站中内容重复也是大祭,对网站百害而无一利。很多使用CMS建站的朋友都没有注意到,必须要引起重视。


  6、被删除的目录

  死链过多,对搜索引擎优化来说,是致命的。不能不引起站长的高度重视。在网站的发展过程中,目录的删除和调整是不可避免的,如果你的网站当前目录不存在了,那必须对此目录进行robots屏蔽,并返回正确的404错误页面(注意:在IIS中,有的朋友在设置404错误的时候,设置存在问题,在自定义错误页面一项中,404错误的正确设置应该是选择:默认值或者文件,而不应该是URL,以防止搜索引擎返回200的状态码。)


  robots.txt文件对网站有什么好处

  1、快速增加网站权重和访问量;

  2、禁止某些文件被搜索引擎索引,可以节省服务器带宽和网站访问速度;

  3、为搜索引擎提供一个简洁明了的索引环境。


  深圳正能量网络营销公司专注赢利型网站制作、企业竞价托管、网站优化、网站维护、提升企业品牌官网,如有需求请及时联系我们,免费电话:400-008-3268。

  网站优化中robots.txt文档需要屏蔽那些目录,由深圳正能量网站(http://www.znlds.com/)小编整理,如需转载请注明出处!


标签:网站优化,robots.txt文档需要屏蔽那些目录,robots.txt文档

如需转载请注明原文出处: 网站优化中robots.txt文档需要屏蔽那些目录     http://www.znlds.com/wzyh/140.html

Tags:网站优化,robots.txt文档需要屏蔽那些目录,robots.txt文档