roobts.txt该怎么写？

robots.txt文件时seo优化中非常重要的一个文件，也是(shì)我们seo培训的重点之一。槼(guī)范合适的抒写robots.txt文件，可以(yǐ)有效的提升蜘蛛(zhū)抓取(qǔ)的效率，避免造成(chéng)搜索引(yǐn)擎蜘蛛(zhū)封禁(jìn)的情况。下(xià)面郑州seo杨超就来解释一下(xià)robots协议怎么写。

什么是(shì)robots.txtRobots协议：網(wǎng)站(zhàn)通过Robots协议告诉搜索引(yǐn)擎哪些页面可以(yǐ)抓取(qǔ)，哪些页面不(bù)能抓取(qǔ)。 协议写在robots.txt文件里面。

要不(bù)要使用robots.txt1、如果你的網(wǎng)站(zhàn)有部(bù)分内容不(bù)希望搜索引(yǐn)擎抓取(qǔ)，那么请设置robots.txt

2、如果你的網(wǎng)站(zhàn)全部(bù)内容都需要被搜索引(yǐn)擎抓取(qǔ)，可以(yǐ)不(bù)设置。

3、一般来说，一些后台文件（如css、js）、用户隱(yǐn)私(sī)的文件不(bù)用被搜索引(yǐn)擎抓取(qǔ)。

4、如果有些文件频繁被蜘蛛(zhū)抓取(qǔ)，但是(shì)这些文件又是(shì)不(bù)重要的，那么可以(yǐ)用robots.txt进行屏蔽。

robots.txt的用法User-agent: * 这里的*代表的所有的搜索引(yǐn)擎種(zhǒng)类，*是(shì)一个通配符

Disallow: /文件夹名称/ 这里定義(yì)是(shì)禁(jìn)止爬取(qǔ)这个文件夹下(xià)面的目錄(lù)

Disallow: /cgi-bin/*.htm 禁(jìn)止访問(wèn)/cgi-bin/目錄(lù)下(xià)的所有以(yǐ)”.htm”为后缀的URL(包含(hán)子目錄(lù))。

Disallow: /*?* 禁(jìn)止访問(wèn)網(wǎng)站(zhàn)中所有包含(hán)問(wèn)號(hào) (?) 的網(wǎng)址

Disallow: /.jpg$ 禁(jìn)止抓取(qǔ)網(wǎng)页所有的.jpg格式(shì)的图片

Disallow:/ab/adc.html 禁(jìn)止爬取(qǔ)ab文件夹下(xià)面的adc.html文件。

Allow: /cgi-bin/ 　这里定義(yì)是(shì)允(yǔn)许爬寻cgi-bin目錄(lù)下(xià)面的目錄(lù)

Allow: /tmp 这里定義(yì)是(shì)允(yǔn)许爬寻tmp的整个目錄(lù)

Allow: .htm$ 僅(jǐn)允(yǔn)许访問(wèn)以(yǐ)”.htm”为后缀的URL。

Allow: .gif$ 允(yǔn)许抓取(qǔ)網(wǎng)页和gif格式(shì)图片

Sitemap: 網(wǎng)站(zhàn)地(dì)图的URL 告诉爬虫这个页面是(shì)網(wǎng)站(zhàn)地(dì)图

robots.txt示例# robots.txt for 阅读青春readu.net

User-agent: *

Allow: /

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/plugins/

Disallow: /?r=*

robots标签的用法（mate标签是(shì)写在網(wǎng)页head里面的代码）<meta name=”robots” content=”nofollow”> 所有搜索引(yǐn)擎都不(bù)允(yǔn)许爬行

<meta name=”baiduspider” content=”nofollow”> 百度搜索引(yǐn)擎不(bù)允(yǔn)许爬行

<meta name=”robots” content=”noarchive”> 所有搜索引(yǐn)擎都不(bù)允(yǔn)许收錄(lù)

<meta name=”baiduspider” content=”noarchive”> 百度搜索引(yǐn)擎都不(bù)允(yǔn)许收錄(lù)

robots.txt具体用途1、一个页面对应多个URL时，应屏蔽多余的URL。

2、如果網(wǎng)站(zhàn)有页面是(shì)没有实质性内容的，应该屏蔽掉。

3、如果網(wǎng)站(zhàn)改版删除了大量(liàng)的页面（404），应该屏蔽掉。

4、如果是(shì)UGC網(wǎng)站(zhàn)，用户产生了大量(liàng)的不(bù)良(liáng)内容，应该屏蔽掉。

5、不(bù)希望被搜索引(yǐn)擎索引(yǐn)的内容（后台界面、用户隱(yǐn)私(sī)），应该屏蔽掉。