哪些因素会影响搜索引擎对网站抓取的频次?

浏览:34次 提问时间:2022-11-07 12:56:20

我来帮他解答

最佳回答

Smith

1、网站内容:网站内容的质量决定了是否可以稳定的获取抓取。

2、网站结构:对于搜索引擎除了链接推送的时候有针对的抓取特定的链接,对于日常的爬取的时候,依然是从网站的首页进行抓取。因此一个设计合理的首页和网站结构是非常的重要的。

3、链接提交:网站的内容更新,一定需要去及时的向搜索引擎推送链接,可以加快页面的发现速度。

4、网站性能:决定搜索引擎抓取频次大小的还有一个比较重要的因素就是抓取压力。也就是服务器的带宽以及相应速度,我们需要把抓取时间控制在1500毫秒以下,否则搜索引擎就会为了保证站点的正常访问降低对于站点抓取频次。

5、抓取诊断:比如百度站长工具中的抓取异常模块就是我们需要关注的,我们可以看相关的异常状态码,可以清楚的知道抓取时遇到的访问问题。通过此处我们可以发现网站是否存在死链,以及页面访问是否稳定正常,出现异常需要及时的处理。

6、死链处理:当网站出现死链的时候我们一定要做到在搜索引擎抓取到之前就进行死链提交,一方面抓取到大量的死链会影响用户体验导致站点的评级降低,另外一方面站点每日的抓取数量是有限的死链也会浪费站点的抓取数量。

7、robots:合理的设置robots.txt文件可以防止隐私信息被抓取到,同时可以很大程度提供抓取的有效性,屏蔽了无效页面的抓取。


回答时间:2022-11-07
4 条回答

Andy

1、网站域名  网站域名尽量简短,短域名更有利于搜索引擎蜘蛛抓取。

2、网站层级  网站层级不要超过三层,层级过深会影响搜索引擎蜘蛛抓取。

3、网站打开速度  网站打开速度慢、打不开,不仅会影响用户体验,同时也会影响蜘蛛抓取。

4、网站内容  网站内容要稳定更新,要注意原创度。

5、高质量外链  发布高质量外链,提升网站曝光度,知名度,建网站用top域名,提升网站流量,拓展蜘蛛抓取渠道。

6、链接提交  主动提交网站链接,这样更有利于提升网站页面的收录量。

7、高质量友情链接  高质量,特别是同行业的友情链接,更有助于网站在搜索引擎中的评分,提升抓取频次。


回答时间:2022-11-07

Json

网站的结构

在选择域名时要找一个域名比较短的,而且目录层级必定要控制在三层之内,层级太深的话,会影响蜘蛛的抓取。

网站地图Sitemap

自动提交网站地图,保证网站url在网站地图中。

内容的更新频率和原创性

更新网站内容时,尽量写原创文章。对于蜘蛛来说,喜爱原创程度高的文章,更新频率要控制在一定的频率。

页面速度

重要的指标便是页面首次加载,控制在3秒内。


回答时间:2022-11-07

Amber

网站结构

建站时选择简短的域名,简化目录层级,避免URL过长,以及出现过多动态参数。

站点地图的建立

网站提交的站点地图对搜索引擎都会定期抓取,并且对发送的链接进行处理,想要提升蜘蛛抓取频率,需要将网站新的链接加入到站点地图,这样可以提升蜘蛛抓取速度。


回答时间:2022-11-07
  • 相关图册
  • 相关问答
在线咨询
服务热线
服务热线:021-61554458
TOP
0.140786s