浅析“Twitter手艺成绩” 解稀网站动乱本相
寡所周知,twitter正在前段工夫,PR值由9降到了0,而且寡多页里没有被谷歌Robot抓与,寡人哗然!固然如今曾经规复。可是那是怎样回事呢?独孤依风援用谷奥的内容为各人解稀下twitter网站动乱本相!
尾先,Twitter PR及寡多页里没有被抓与是由本身手艺惹起的,跟谷歌的搜刮机造出有干系。
招致twitter此次动乱的有五年夜手艺成绩:
(1)robots设置成绩
twitter正在设置Robots时,针对带WWW战没有带WWW设置了两个Robots尺度。以下所示:(A为没有带的Robots设置,B为带WWW的Robots设置)
A:The file at twitter/robots.txt looks as follows:
#Google Search Engine Robot
User-agent:Googlebot
# Crawl-delay: 10 -- Googlebot ignores crawl-delay ftl
Allow: /*?*_escaped_fragment_
Disallow: /*?
Disallow: /*/with_friends
#Yahoo! Search Engine Robot
User-Agent: Slurp
Crawl-delay:1
Disallow: /*?
Disallow: /*/with_friends
#Microsoft Search Engine Robot
User-Agent:msnbot
Disallow:/*?
Disallow:/*/with_friends
# Every bot that might possibly read and respect this file.
User-agent:*
Disallow:/*?
Disallow:/*/with_friends
Disallow:/oauth
Disallow:/1/oauth
B:the file at twitter/robots.txt file looks as follows:
User-agent:*
Disallow:/
twitter针对带战没有带设置了两个差别的Robots尺度,那样便能够看出:
1、针对带WWW战没有带WWW的网站,搜索系统根据Robots尺度,返回的搜刮成果没有不异,同时也没有标准。
2、twitter正在阻遏搜索系统抓与带WWW的网址。
3、经由过程封闭带的网站,即便将其301重定背到没有带的网站,那也是徒劳无功!
4、因为带战没有带的皆有内部链接,可是带的阻遏搜索系统抓与,那么关于提拔twitter网站团体权重去道,该内部链接的代价并出有获得有用操纵!
(2)302重定背成绩
twitter / vanessafox利用了302重定背到twitter /#!/ vanessafox。寡所周知,302重定背为临时性转移,会抓与新内容而保留旧网址,而且本来的链接没有会局部转移!
(3)出有服从谷歌AJAX抓与尺度
Twitter的网址是AJAX战利用#!,报告谷歌从效劳器获得_escaped_fragment_版本的URL。因为出有利用301重定背,招致落空了许多相干URL页里,出有将AJAX战重定背很好天分离起去。
(4)速度限定
正在HTTP标头能够瞥见速度限定。
HTTP/1.1 200 OKDate:Mon,18 Jul 2011 20:48:44 GMTServer:hiStatus:200 OKX-Transaction:1311022124-32783-45463X-RateLimit-Limit:1000
(5)网址没有标准
twitter / VanessaFox显现搜刮成果,是twitter / vanessafox。那两个URL招致了统一个处所。那是形成又一次的PageRank密释,反复,战标准化成绩。那里最好的法子是一般化的网址一个变革(最简朴的办法是挑选局部小写),然后301重定背一切变革。别的,Twitter的能够简朴天增加的rel =标准属性指定例范版本的一切网页 。
从以上能够看出,Twitter是有费事的robots.txt,HTTP形态代码战URL标准化。那是许多年夜型网站面对的成绩。至于谷歌PR东西栏能否革新,那是谷歌的成绩。
从Twitter手艺破绽能够警告列位站少:
(1)设置Robots必然要同一,集合权重,以防走得。(2)302重定背出有301重定背好(3)必需服从谷歌AJAX抓与尺度(4)没有要正在HTTP标头限定速度(5)网址要标准,同一,不克不及搀杂正在一同随便治用!
去文尾收于独孤依风搜索引擎优化中间(搜索引擎优化0359) 站少独孤依风本创!如若转载,请保存本文链接地点!互联网粗英第一群:76933546,诚邀广阔出名站少参加!
注:相干网站建立本领浏览请移步到建站教程频讲。
相关信息
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|