欢迎来到SEO外包优化网
打开客服菜单
王杨建站
深圳SEO外包优化服务 > 网站优化基础 > 大型网站SEO要怎么优化(1)
大型网站SEO要怎么优化(1)
时间 : 2020-07-07 07:08 浏览量 : 100

大型网站SEO从业者一般都是在行业中摸爬滚打很多年的老手了,一般都有一些工作心得,但是在工作方面,还是有很多需要注意的。


主要分为三大关键部分:SEO网站技术、SEO人员的沟通能力和SEO的心态。


大型网站SEO要怎么优化(1)


关键1:SEO网站技术


1、页面质量优化与提升


页面质量过低,就无法获取好的排名,页面上如果出现的只是一篇文章,肯定很难获取排名,最起码要把相关的信息都调取出来,形成一个列表性质的页面,再注入一些相关知识介绍,并控制页面之间的相似度,如此就能提升页面质量了。


大型网站SEO要怎么优化(1)


2、HTML


每一个SEO从业人员都知道,了解HTML的相关知识非常重要。作为一个大站SEO,关注的也许就不仅仅是关键词密度或者是H1标签了,更多的是需要去发现页面上的一些重要内容是否可以在HTML代码中找到,如果无法找到,则可能是采用了Ajax异步加载,这往往导致搜索引擎无法抓取,从而降低页面评分。


大型网站SEO要怎么优化(1)


3、服务器


任何一个网站的流量发展,对服务器都是一个巨大的考验,因此了解服务器本身的运作原理是很有必要的,当网站出现异常时,要能够第一时间知晓事故,并找出原因,当服务器恢复正常后,必须使用站长工具测试一次网站抓取的正常性。


大型网站SEO要怎么优化(1)


4、产品用户体验方面


随着搜索引擎的进步,如今的SEO并不好做,搜索引擎也越来越重视页面的用户体验了,体验不好的网页,用户的退出率极高,排名也将逐渐下滑。


越来越多的SEO从业者已然演变成新一代的SEO产品经理,他们在兼顾着SEO及用户体验,在中间寻找着一个平衡点,因此SEO从业者对网站的体验也要重视起来。


大型网站SEO要怎么优化(1)


5、数据库


关注网站的数据结构,可以帮助你更清晰地定义URL规则以及网站的TKD信息,并且在你优化网页页面质量的时候,更方便地调用你想要的内容信息,所以SEO从业人员必须了解网站的数据结构。


6、内部链接与外链资源


内部链接及外部链接的作用是一样的,都是为了蜘蛛能够顺利爬取,并提升页面质量。利用这些方法,可以有效提升一些目标关键词的排名。


大型网站SEO要怎么优化(1)


7、内容呈现逻辑


可以说一个页面的质量高低,和你的页面内容呈现逻辑是息息相关的。


搜索引擎评判一个页面的质量高低,首先是评测页面的主题是否明确,其次是评测页面的原创性,特别是在站内的原创性,如果站内的每一个页面都能有自己独到的一面,那么这个网站的权重一定是非常高的,相对跳出率就会很低。


8、关键词挖掘与归类


关键词如何挖掘与归类?这取决于SEO从业者的归类逻辑思维能力。以最常见的电商B2C网站来说,大多数的人分析行业内所有关键词之后,就会发现一些规律,例如流量关键词构成主要是“产品关键词”、“品牌关键词”等,因此对于关键词要善于挖掘与归类。


9、页面类型分析与关键词映射


当关键词挖掘完毕之后,就需要分析网站页面类型,找到合适的页面分配适宜的关键词


网站的搜索引擎蜘蛛抓取越多越好?事实未必


大型网站SEO要怎么优化(1)


做过SEO或站长的都应该知道,网站要想做排名就必须使网站文章先收录,而网站内容收录由跟搜索引擎蜘蛛的来访抓取有很大的关系。


搜索引擎蜘蛛,又被称为网页爬虫,网络机器人,在FOAF社区中间,也经常被称为网页追逐者,是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本。另外它还有一些不常使用的名字,如:蚂蚁,自动索引,模拟程序或者蠕虫。那么,对于一个网站来说,是不是来网站爬行的搜索引擎蜘蛛越多越好呢?


一、搜索引擎蜘蛛抓取网页的原理


关于搜索引擎获得网页的工具,是一款爬行程序(俗称蜘蛛),蜘蛛程序每天都会爬行大量的网页,并将一些新的网页信息带到服务器以便进行网页索引的建立。


搜索引擎蜘蛛抓取网页的原理


大型网站SEO要怎么优化(1)


可以说,互联网就是由一个个链接构成的,蜘蛛程序顺着这些链接爬行并发现网页信息,蜘蛛程序爬行每一个页面,当这个页面不再有新的链接信息的时候,它就返回,下次再到这个页面的时候,再去爬行(具体可查看马海祥博客的《搜索引擎工作的基础流程与原理》相关介绍)。


当给它足够的时间,他就会找到互联网所有的网页信息(至少是被链接的),在爬行的时候,它还会不断的向服务器提供信息,所以我们在进行网站日志分析的时候,如果发现某一个网页被某个搜索引擎的蜘蛛程序程序爬行并成功抓取数据,那么,这个网页就很有可能被索引。


所以,从SEO的角度来说,提高网页的索引数据(收录量)对于一个网站的搜索引擎优化(SEO)是非常有利的。


当蜘蛛程序在爬行链接的过程中,它还会对爬行过的链接进行处理,因为链接需要载体(文字、图片或其他信息),发现链接载体并存储链接数据。


所以这里我们要做的,就是努力增加蜘蛛爬行页面的频率(在以往的网站分析中经常提到),以保证我们网页在搜索引擎数据库中的索引是最新的。


大型网站SEO要怎么优化(1)


比如蜘蛛程序今天访问了网站的两个网页并成功抓取,隔了两个星期,它再来访问这两个页面的时候,这两个网页其中一个更新了,另一个确没有,那么,蜘蛛程序可能会在一个星期内再次回访更新过的那个网页,而在一个月后才去访问没有更新的那个网页,随着时间的推移,蜘蛛程序会更加频繁是爬行经常更新的网页,以达到更新服务器中的索引数据,向用户提供最新的网页信息。


二、搜索引擎蜘蛛是不是越多越好?


不论哪个搜索引擎的爬虫,来抓取你网站的页面的时候,肯定在消耗你的网站资源,例如网站的连接数、网络带宽资源(空间流量)、服务器的负载、甚至还有盗链等,那是不是所有的搜索引擎蜘蛛都是有用呢?


另外,搜索引擎的爬虫来抓取你的页面数据后,它也不一定收用数据,只代表它“到此一游”留下痕迹而已,据马海祥了解有些搜索引擎只是过来找下它想要的资源,甚至还有很多是开发人员的蜘蛛测试。


大型网站SEO要怎么优化(1)


对于一个原创内容丰富,URL结构合理易于爬取的网站来说,简直就是各种爬虫的盘中大餐,很多网站的访问流量构成当中,爬虫带来的流量要远远超过真实用户访问流量,甚至爬虫流量要高出真实流量一个数量级。


对于那些想提高网站有效利用率的网站,虽然设置了相当严格的反爬虫策略,但是网站处理的动态请求数量仍然是真实用户访问流量的2倍。


可以肯定的说,当今互联网的网络流量有很大一部分的流量是爬虫带来的,因此反搜索引擎爬虫是一个值得SEO长期探索和解决的问题。


所以,从SEO的角度来说,搜索引擎蜘蛛来网站访问并非越多越好,并且还要合理的屏蔽无效的搜索引擎蜘蛛的抓取。


大型网站SEO要怎么优化(1)


三、过多的搜索引擎爬虫对网站的影响


既然对于网站来说,搜索引擎蜘蛛并非是越多越好,那么,这具体是因为什么原因导致的呢?


1、浪费带宽资源


如果你的网站带宽资源有限,而爬虫的量过多,导致正常用户访问缓慢,原本虚拟主机主机的连接数受限,带宽资源也是有限,这种情况搜索引擎爬虫受影响呈现更明显。


2、过于频繁的抓取会导致服务器报错


如果搜索引擎爬虫过于频繁,会抓取扫描很多无效页面,甚至抓页面抓到服务器报502、500 、504等服务器内部错误了,蜘蛛爬虫还在不停使劲抓取。


3、与网站主题不相关的搜索引擎爬虫消耗资源


比如一淘网的抓取工具是一淘网蜘蛛(EtaoSpider),目前是被各大电子商务购物网站屏蔽的,拒绝一淘网抓取其商品信息及用户产生的点评内容。


被禁止的原因首先应该是它们之间没有合作互利的关系,还有就是EtaoSpider爬虫是一个抓取最疯狂的蜘蛛,据马海祥对一些电商网站的测试发现:一淘网蜘蛛(EtaoSpider)的一天爬行量比“百度蜘蛛(Baiduspider)”“360蜘蛛(360Spider)”“SOSO蜘蛛(Sosospider)”等主流蜘蛛爬虫多几倍,并且是远远的多。


重点是EtaoSpider被抓取只会消耗你的网站资源,它不会给你带来访问量,或者其它对你有利用的。


大型网站SEO要怎么优化(1)


4、无效的测试抓取


一些搜索引擎开发程序员,它们写的爬虫程序在测试爬行。


5、robots.txt文件也并非是万能


肯定有很多人认为,在robots.txt设置屏蔽搜索引擎爬虫即可,或者允许某些特定的搜索引擎爬虫,能达到你预想效果。


正规搜索引擎会遵守规则,不过不会及时生效,但是据我对马海祥博客的测试发现:实际上某些蜘蛛往往不是这样的,先扫描抓取你的页面,无视你的robots.txt,也可能它抓取后不一定留用,或者它只是统计信息,收集互联网行业趋势分析统计。


6、不是搜索引擎蜘蛛,但具有蜘蛛的特性


例如采集软件,采集程序,网络扫描e-mail地址的工具,各式各样的SEO分析统计工具,千奇百怪的网站漏洞扫描工具等等,这些抓取对网站没有任何好处!


大型网站SEO要怎么优化(1)


四、如何解决无效搜索引擎蜘蛛取的问题


各种搜索引擎的蜘蛛爬虫会不断地访问抓取我们站点的内容,也会消耗站点的一定流量,有时候就需要屏蔽某些蜘蛛访问我们的站点。那么接下来,马海祥就根据自己的经验跟大家分享4种解决无效搜索引擎蜘蛛抓取的方法:


1、只运行常用的搜索引擎蜘蛛抓取


依据空间流量实际情况,就保留几个常用的,屏蔽掉其它蜘蛛以节省流量。


2、通过服务器防火墙来屏蔽ip


从服务器防火墙iptable直接屏蔽蜘蛛IP段、详细的IP,这是最直接、有效的屏蔽方法。


3、WWW服务器层面做限制


例如Nginx,Squid,Lighttpd,直接通过“http_user_agent”屏蔽搜索引擎爬虫。


4、最后robots.txt文件做限制


搜索引擎国际规则还是要遵循规则的。


大型网站SEO要怎么优化(1)


五、各大搜索引擎蜘蛛的名称


抓取网站的搜索引擎蜘蛛是不是越多越好


为了使大家找到适合自己网站的搜索引擎蜘蛛,马海祥也特意整理了一份最新的各大搜索引擎蜘蛛名称(大家要注意下写法的不同点,特别是大小写):


1、百度蜘蛛:Baiduspider


网上的资料百度蜘蛛名称有BaiduSpider、baiduspider等,那是旧黄历了。百度蜘蛛最新名称为Baiduspider,我通过对网站日志的检查还发现了Baiduspider-image这个百度旗下蜘蛛,是抓取图片的蜘蛛。


常见百度旗下同类型蜘蛛还有下面这些:Baiduspider-mobile(抓取wap)、Baiduspider-image(抓取图片)、Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)。


大型网站SEO要怎么优化(1)


2、谷歌蜘蛛:Googlebot


这个争议较少,但也有说是GoogleBot的,谷歌蜘蛛最新名称为“compatible; Googlebot/2.1;”,不过,我还在马海祥博客的日志中发现了Googlebot-Mobile,看名字是抓取wap内容的。


3、360蜘蛛:360Spider


它是一个很“勤奋抓爬”的蜘蛛。


4、SOSO蜘蛛:Sosospider


5、雅虎蜘蛛:“Yahoo! Slurp China”或者Yahoo!


6、有道蜘蛛:YoudaoBot,YodaoBot


7、搜狗蜘蛛:Sogou News Spider

最新相关/SEO文章
  • 27

    2020-11

    新网站seo的重要性和常见问题你知道吗?

    SEO作为搜索引擎优化,使得很多人认为这一个『优化』工作对初创网站来说并非优先级很高的事项。但往往到了网站成型之后,发现SEO工作已经无处下手。本文就谈谈哪些工作是一个新站点在产品上线之初、甚至上线之前就必须要引起重视。 ...

    查看更多
  • 22

    2020-10

    SEO教程:优化源代码的技巧

    在SEO教程中,源代码是网站的主体元素,SEO教程中有密集恐惧症的朋友可能都不太喜欢见到源代码,SEO教程强调简介,的确密密麻麻的代码对于不懂程序的朋友来说是一种折磨。咱们做SEO跟网站源代码脱离不了关系,因为源代码优化 ...

    查看更多
  • 22

    2020-10

    SEO教程:网站安全问题

    SEO教程中俗话说:有人的地方就有江湖。小明SEO教程也说:有江湖的地方就有竞争。在SEO教程行业里想想也是,企业与企业之间有竞争,路边的小贩与小贩之间也有竞争,连坐个公交车都有竞争。其实有竞争从某种意义上说还是好的,一 ...

    查看更多
  • 22

    2020-10

    SEO教程:做不好的4个原因

    SEO教程说:每个行业都有每个行业的精英,SEO教程也符合三百六十行行行出状元,SEO教程和任何一个行业一定会有一批拔尖的和平庸的,SEO行业也是一样。做任何行业我们都是从不会到会,从会到熟练,从熟练到能手,从能手到高手 ...

    查看更多
  • 22

    2020-10

    SEO教程:进百度第三页

    小明的武汉SEO教程博客从建站到现在也已经有一个多月了,看了SEO教程后,有排名的关键词的数量也开始起来了,做好SEO教程,这本来是一件值得高兴的事情,但是小明却始终高兴不起来,为什么呢?看看下图你们就知道了,到目前为止 ...

    查看更多
  • 22

    2020-10

    SEO教程:即将降权的表现

    SEO教程:走路不小心会摔跟头,网站不小会被降权。在学习SEO教程的时候也说过这个问题!SEO教程:以用户为核心,做好用户体验!网站降权可能是所有的站长朋友最不愿听到的话了,说不好听点它就像突如其来的地震一样,好端端的突 ...

    查看更多
  • 22

    2020-10

    SEO教程:三点技巧

    学习SEO教程也是需要技巧,根据SEO教程做排名时,也需要变通!很多SEO教程都是免费的,但实战过来之后,你会有长足进步!今天,我来说说SEO教程中的三个技巧。泉水因为有源源不断的水源补给所以才清澈甘甜;树木因为有连续不 ...

    查看更多
  • 22

    2020-10

    SEO教程:图片优化标准

    SEO教程中,我也说了很多关于图片优化的了。还是很多同学没有领悟到SEO教程的精髓所在。所以,今天我再一次分享SEO教程中的图片优化技巧。这是我实战总结的SEO教程,希望大家能认真看完。我们现在做网站SEO优化很多时候就 ...

    查看更多
  • 22

    2020-10

    SEO教程:百度这样对我的网站

    在SEO教程中,我强调以百度为准,但有时候百度也会和你开玩笑一样。我们分享SEO教程时,很多同学也有类似的问题。今天,我们想在SEO教程中,再给大家讲讲,百度对网站的一些真实经历。一年一度的愚人节如期而至,一直以来我以为 ...

    查看更多
  • 22

    2020-10

    SEO教程:到底有多么心酸

    在SEO教程这个行业中,我们经历了许多风风雨雨。今天分享的SEO教程,主要以心态为主,看完也许对你有不少的重要启发。其实,我们在做SEO教程之前,想过要不要自己的心酸经历告诉你们。为了能更好的给大家介绍SEO教程,我们决 ...

    查看更多
  • 22

    2020-10

    SEO教程:点击算法原理

    SEO教程中,关于做关键词排名方法都有讲到,今天说说点击算法。很多同学在SEO教程中,总想了解这个百度点击算法,是否实用?其实,网上很多SEO教程,也说过关于点击算法,那么今天,我们用实战经验给大家说说吧。善于发现善于总 ...

    查看更多
  • 21

    2020-10

    SEO教程:新站难优化的原因

    网站SEO教程其实都是针对新站的。在整个SEO教程中,我们每个站长,都是从新站开始!今天的SEO教程里,我们说一说新站难优化的原因!请认真对待本文的SEO教程,这关系着新站以后排名好不好。一个新站在互联网上的地位就是一只 ...

    查看更多
标签:


cache
Processed in 0.008178 Second.