新聞中心
運(yùn)營知識(shí) | 網(wǎng)站的根目錄下的robots.txt文件有什么作用？
在網(wǎng)站建設(shè)過程中我們會(huì)有一部分內(nèi)容不希望被搜索引擎抓取到或者不希望其在互聯(lián)網(wǎng)中出現(xiàn)，那么要怎么辦呢?我要怎么跟搜索引擎說你不要抓取我的xx內(nèi)容呢?這時(shí)候robots就派上用場了。
Robots.txt是存放于網(wǎng)站根目錄下用于規(guī)定搜索引擎對(duì)網(wǎng)站內(nèi)容抓取范圍的文本文件，就這么一句話可以解釋robots.txt是什么，但是我們需要注意的幾點(diǎn)：
1.robots.txt必須存放在網(wǎng)站的根目錄下。
2.其命名必須為robots.txt
3.Robots.txt是搜索引擎訪問網(wǎng)站的第一個(gè)頁面
4.Robots.txt中必須指明user-agent
聯(lián)系狼煙
聯(lián)系電話
王經(jīng)理15515555565
范經(jīng)理15538228885
周一至周日 08:30~18:00
在線咨詢
狼煙科技公眾號(hào)
狼煙科技公眾號(hào)
豫公網(wǎng)安備41010302003211