robots.txt文件是網(wǎng)站的一個(gè)文件，它是給搜索引擎蜘蛛看的。

        robots協(xié)議的作用：

        搜索引擎蜘蛛爬行到我們的網(wǎng)站首先就是抓取這個(gè)文件，根據(jù)里面的內(nèi)容來(lái)決定對(duì)網(wǎng)站文件訪問(wèn)的范圍。它能夠保護(hù)我們的一些文件不暴露在搜索引擎之下，從而有效的控制蜘蛛的爬取路徑，為我們站長(zhǎng)做好seo創(chuàng)造必要的條件。尤其是我們的網(wǎng)站剛剛創(chuàng)建，有些內(nèi)容還不完善，暫時(shí)還不想被搜索引擎收錄時(shí)。

        以下幾點(diǎn)我們需要注意：

        1、網(wǎng)站必須要有一個(gè)robot.txt文件；

        2、robots.txt文件應(yīng)該放置在網(wǎng)站根目錄下；

        3、文件名是小寫字母；

        4、當(dāng)需要完全屏蔽文件時(shí)，需要配合meta的robots屬性。

實(shí)搜網(wǎng)絡(luò)為您提供網(wǎng)絡(luò)推廣，網(wǎng)絡(luò)營(yíng)銷，網(wǎng)站建設(shè)，SEO優(yōu)化，微信開發(fā)，網(wǎng)站托管等服務(wù)，服務(wù)熱線：0311-66697360