什么是robots文件?

       搜索引擎機器人通過鏈接抵達互聯(lián)網(wǎng)上的每個網(wǎng)頁，并抓取網(wǎng)頁信息。搜索引擎機器人在訪問一個網(wǎng)站時，會首先檢查該網(wǎng)站的根目錄下是否有一個叫做robots.txt的純文本文件。當(dāng)我們的網(wǎng)站有一些內(nèi)容不想被搜索引擎收錄，我們可以通過設(shè)置robots.txt文件告知搜索引擎機器人。如果網(wǎng)站上沒有禁止搜索引擎收錄的內(nèi)容，則不用設(shè)置robots.txt文件，或設(shè)置為空。

       從SEO的角度，robots.txt文件是一定要設(shè)置的，原因有四：

       1、網(wǎng)站上經(jīng)常存在這種情況：不同的鏈接指向相似的網(wǎng)頁內(nèi)容。這不符合SEO上講的“網(wǎng)頁內(nèi)容互異性原則”。采用robots.txt文件可以屏蔽掉次要的鏈接。

       2、網(wǎng)站改版或URL重寫優(yōu)化時原來不符合搜索引擎友好的鏈接需要全部屏蔽掉。采用robots.txt文件刪除舊的鏈接符合搜索引擎友好。

       3、一些沒有關(guān)鍵詞的頁面，需要屏蔽掉。

       4、一般情況下，站內(nèi)的搜索結(jié)果頁面屏蔽掉更好。

實搜網(wǎng)絡(luò)為您提供網(wǎng)絡(luò)推廣，網(wǎng)絡(luò)營銷，網(wǎng)站建設(shè)，SEO優(yōu)化，微信開發(fā)，網(wǎng)站托管等服務(wù)，服務(wù)熱線：0311-66697360