來(lái)源:實(shí)搜網(wǎng)絡(luò) 2016-07-12
robots.txt文件是網(wǎng)站的一個(gè)文件,它是給搜索引擎蜘蛛看的。
robots協(xié)議的作用:
搜索引擎蜘蛛爬行到我們的網(wǎng)站首先就是抓取這個(gè)文件,根據(jù)里面的內(nèi)容來(lái)決定對(duì)網(wǎng)站文件訪問(wèn)的范圍。它能夠保護(hù)我們的一些文件不暴露在搜索引擎之下,從而有效的控制蜘蛛的爬取路徑,為我們站長(zhǎng)做好seo創(chuàng)造必要的條件。尤其是我們的網(wǎng)站剛剛創(chuàng)建,有些內(nèi)容還不完善,暫時(shí)還不想被搜索引擎收錄時(shí)。
以下幾點(diǎn)我們需要注意:
1、網(wǎng)站必須要有一個(gè)robot.txt文件;
2、robots.txt文件應(yīng)該放置在網(wǎng)站根目錄下;
3、文件名是小寫字母;
4、當(dāng)需要完全屏蔽文件時(shí),需要配合meta的robots屬性。
實(shí)搜網(wǎng)絡(luò)為您提供網(wǎng)絡(luò)推廣,網(wǎng)絡(luò)營(yíng)銷,網(wǎng)站建設(shè),SEO優(yōu)化,微信開發(fā),網(wǎng)站托管等服務(wù),服務(wù)熱線:0311-66697360