当前位置:首页 > 建站优化 > 正文内容

个人网站如何做到被各大搜索软件收录?

zhuangbi888.com2021-05-16 21:01建站优化115

robot.txt文件

大部分的网站收录问题都是因为被robot.txt文件拦截导致的。

robots.txt是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被robots访问的部分,或者指定搜索引擎只收录指定的内容。

当一个搜索机器人(有的叫搜索蜘蛛)访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,那么搜索机器人就沿着链接抓取。

格式:

1.User-agent:

用于指定搜索引擎的名称,如谷歌为User-agent: Googlebot,*代表所有搜索引擎

2.Disallow:

表示禁止蜘蛛访问的文件

User-agent: *

Disallow:

表明:允许所有搜索引擎访问网站下的所有内容。

User-agent: *

Disallow: /

表明:禁止所有搜索引擎对网站下所有网页的访问。

User-agent: *

Disallow: /cgi-bin/

表明:禁止所有搜索引擎进入网站的cgi-bin目录及其下所有子目录。需要注意的是对每一个目录必须分开声明。

User-agent: Roverdog

Disallow: /

表明:禁止Roverdog访问网站上的任何文件。

User-agent: Googlebot

Disallow: cheese.htm

表明:禁止Google的Googlebot访问其网站下的cheese.htm文件。

3.注释

以”#”开头的行,均被视为注解内容,注释需要单独成一行

Disallow: bob #comment是错误的

4.Allow行

Allow行还未普遍使用,对于网站地图,直接写为Sitemap:

编辑模式:

在UNIX模式下编辑你的robots.txt文件并以ASCII码格式上传。显然并非所有的FTP客户端软件都能够天衣无缝地将文件格式转换为UNIX命令行终端,所以在编辑robots.txt文件时,一定要确保你的文本编辑器是在UNIX模式下。

或者使用工具如爱站工具生成robots,直接粘贴复制到网站后台。

检测robots是否生效:

在百度站长后台检测robots

二 robots和nofollow的区别是什么

robots只用于站内链接。禁止蜘蛛抓取进行收录;

nofollow的链接蜘蛛依然可以收录,但是不会传递权重,一般用于站外链接或者是公司电话,地址的页面有助于网址权重的集中。

三 网站误封robots后的处理

1.解封robots,然后到百度站长后台检测并更新Robots。

2.在百度站长后台抓取检测,此时显示抓取失败,通常更改完robots不会立即生效,需要等待几天,可以多点击抓取几次,触发蜘蛛抓取站点。

3.在百度站长后台抓取频次,申请抓取频次上调。

4.百度反馈中心,反馈是因为误操作导致了这种情况的发生。

5.百度站长后台链接提交处,设置数据主动推送(实时)。

6.更新sitemap网站地图,重新提交百度,每天手工提交一次。

四.新站robots的设置

对于已经上线但是还没有设置好的新站在robots中用

User-agent:*

Disallow:/

来禁止蜘蛛进行访问

meta标签

meta robots 标签是页面head部分meta标签的一种,用于指令搜索引擎禁止索引(收录)本页内容。

meta robots 标签的写法:

<meta name=”robots”content=”noindex,nofollow”>

标签的意义:禁止所有搜索引擎索引本页面,禁止跟踪本页面上的链接。

Noindex:搜索引擎不索引此网页(可以抓取,但不出现在搜索结果中)。

Nofollow: 搜索引擎不继续通过此网页的链接索引搜索其它的网页。

<meta name>=”robots”content=”noindex” >

标签的意义:禁止索引本页面,但允许蜘蛛跟踪页面上的链接,也可以传递权重。

使用了noindex meta robots标签的页面会被抓取,但不会被索引,也就是说页面URL不会出现在搜索结果中,这一点与robots文件不同。

meta robots 标签的作用:

1、不想让网站被收录使用meta robots 标签,禁止搜索引擎索引本页,同时禁止跟踪页面上的链接。

2、禁止索引本页面,但是允许蜘蛛跟踪页面链接,也可以传递权重。

meta robots标签很多搜索引擎是不支持的,只有少数搜索引擎能够识别并按给定的值抓取。因此还是推荐用robots.txt文件来限制抓取.

有违规记录的域名

有些站长会选择购买有一定注册年份的域名,但是需要注意这些域名是否曾经被搜索引擎惩罚过,如果这样,网站也是非常难收录的。

建议对于这种情况,站长可以查看一下网站日志,如果蜘蛛未爬取,只需要去站长后天提交即可。如果蜘蛛有爬取记录,但是没有收录,就可能是域名的问题。当然也不排除网站自身存在一定的问题。例如镜像网站等。

如何让网站收录

熊账号后台提交:熊账号对于原创文章的收录要求较高,但是通常首页的收录是非常快的,一般第二天就可以看到效果。而且熊掌号会显示不收录的原因,方便站长进行整改。

如何提升百度网站收录和索引的水平?

这个问题在当年门户网站兴盛时代,曾是一个非常热门的专业领域叫搜索引擎优化SEO。

1.关于收录和索引基本先简单说明一下:

收录:页面被百度蜘蛛发现、分析过,认为页面存在价值,所以进行收录处理。

索引:百度蜘蛛抓取页面后,经初步分析后,认为页面内容对用户有意义,所以做建库处理。

再打个比方:把百度建的数据库比作一个图书馆。

那么这座图书馆并不会收录所有书(页面),要根据书本身的质量和价值,来决定是否收录;并不是所有收录的页面,图书馆都会外借(索引)。

所以,网站要获得好的排名,第一步就是提升收录和索引。只有在这个图书馆里的书足够多,外借的可能性才会提高,才有可能得到百度的特别推荐(排名首页)。

2.如何提升百度网站收录和索引的水平:

首先,网站更新要频繁,网站内容更新的频次,很大程度会影响百度蜘蛛抓取网站页面的周期。更新内容频繁的网站,蜘蛛抓取的周期更短,页面收录提升。活网站肯定比僵尸网站好啦哈哈。

其次,内容原创度高(跟我们今日头条有限像哈),百度喜欢原创的东西,原创都越高,页面越容易被收录。

再次,要向百度站长平台提交链接,链接提交百度站长后台是提升网站收录和索引最简单粗暴的方式。所以,专业点的网站完成优化后,都会有SEO的人去主动提交站点地图给百度,让百度蜘蛛自己来抓。

最后,增加优质的加发外链接,外链能直接吸引百度蜘蛛过来,使蜘蛛访问网站的频率提高。优质的外链,不仅可以促进页面的收录、提升页面权重,而且对关键词的排名也有一定的影响。

虽然现在已经步入移动互联网时代,但网站优化仍旧是很重要的工作内容,祝大家2019年会做的更好更美!!

相关文章

万网域名续费价格表(万网域名续费优惠码)

万网域名续费价格表(万网域名续费优惠码)

看你是什么域名,不同的域名有不同的规则的: 国际域名:1) 到期当天暂停解析,如果在72小时未续费,则修改域名DNS指向 广告页面(停放)。38天内,可以自动续费。续费后,系统自动 恢复原来的DNS,...

通过设计的()(如造型、色彩)(给生活添加色彩网站)

通过设计的()(如造型、色彩)(给生活添加色彩网站)

学设计是否一定要有绘画基础这个问题,我上个月刚问了我朋友,她大三正在学设计。据她所说,学设计还真不一定需要绘画基础,特别是一些平面设计,或者机械设计,主要用到的是ps、CAD之类的软件,基本不需要上手...

怎么做论坛网站(做一个论坛网站)

怎么做论坛网站(做一个论坛网站)

论坛是目前网络最流行的一个网站,以为其强大互动性非常好所以深受大家喜欢,而且做个一个论坛成本又不高但是做一个有人气搞流量的论坛就比较困难。没有接触过的人他们往往以为论坛非常强大要投入非常大费用其实是错...

微商城搭建哪家专业(如何搭建自己的微网站)

微商城搭建哪家专业(如何搭建自己的微网站)

感谢邀请。好的小程序开发公司我推荐上线了sxl.cn ,有这方面需求的小伙伴可以看看。 我的推荐理由是: 一、硅谷归国技术团队,采用领先的技术环境,并由国际知名设计师操刀设计。提供给用户搭积木般简...

深圳做网站的公司哪家好(深圳做网站建设)

深圳做网站的公司哪家好(深圳做网站建设)

本篇文章给大家谈谈深圳做网站的公司哪家好,以及深圳做网站建设对应的知识点,希望对各位有所帮助,不要忘了收藏本站喔。 文章目录列表: 1、深圳有什么比较好的网站建设公司? 2、深圳做网站的公司有哪些...

aspcms网站地图模板(asp完整项目源码)

aspcms网站地图模板(asp完整项目源码)

首先在回答这个问题前,需要的的就是对知识的掌控,如果不懂一点计算机知识和代码的话,是很难做的,需要提升一下自己的学习能力,当然做网站流程的话也是比较辛苦的,前期我们通过大量的准备,就可以实现自己的网站...

做网站的企业(做网站的企业有哪些)

你好,我到目前大概做了几十个公司和个人型的网站,基本上涉及到了各种各样的行业网站,因此给你如下的几点建议。 如果网站访问量比较小,也就是一天不会超过10万.那么下面两条是一个网站所需要的硬性条件。 一...

桂林三金网站(三金手机多少钱)

桂林三金网站(三金手机多少钱)

简介:河北三金网络科技有限公司专注为企事业单位提供领先的互联网信息服务包括网站建设、网站推广、软件服务,4006电话代理商,视频监控工程;自1999年5月11日成立以来,依靠自身的技术和设计优势,至今...

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。