Számos webhelytulajdonos szembesül az erőforrások indexelésének és a keresőmotorokból való eltávolításának tilalmával. Ez általában azért történik, mert a webhely elavulttá és lényegtelenné válik, a kiadó vagy a látogatók elveszítik érdeklődésüket a webhely iránt, vagy a webhely személyes, sőt bizalmas információkat is tartalmaz.
Utasítás
1. lépés
Sokféle módon távolíthat el egy webhelyet a keresőmotorokból.
Az első és legegyszerűbb módszer a lekérdezési eredmények törlésére a keresőmotorból, ha törli az oldalt magáról a webhelyről, vagy teljes mértékben törli a CMS webhelyet FTP-kapcsolaton keresztül. Néhány nap múlva a keresőmotor frissíti az adatbázist, és eltávolítja az erőforrásra mutató linket a keresési eredmények közül.
2. lépés
A webmesterek körében a legnépszerűbb módja annak, hogy megvédje a webhelyet, annak egyes szakaszait vagy oldalait az indexeléstől, és ezáltal eltávolítsa a linkeket a keresési eredményekből, a robots.txt fájl szerkesztése.
Az indexeléssel külön oldalt bezárhat a kód használatával:
Felhasználó-ügynök: *
Disallow: /page.html (az page.html oldal bezárása)
Számos szerzői utasítás található arról, hogyan kell kódokat használni az interneten található robots.txt fájlokhoz.
3. lépés
A webhelyek oldalainak keresőmotorokból történő eltávolításának harmadik módja az, ha az oldalain található robotok metacímkét használja. A címke a címkék közötti rejtett oldalak HTML-kódjába van írva.
Így a PS webhely újraindexelése után az ezzel a metacímkével rendelkező oldalak kiesnek a keresésből. Ennek a módszernek az a hátránya, hogy sok modern webhely használ tpl sablonokat, ami azt jelenti, hogy manuálisan meg kell változtatnia a kódot több száz, esetleg több ezer oldalon.
4. lépés
A webhelyek keresőkből való eltávolításának negyedik módja az X-Robots-Tag fejlécek használata. A fejléc lényege hasonló az előző metacímke használatához, azonban a bejegyzésnek a http fejlécekben kell lennie:
X-Robots-Tag: noindex, nofollow
5. lépés
A webhely (teljes egészében) a keresőmotorokból történő eltávolításának leghatékonyabb módja az, ha eltávolítja azt a webmester paneljéről. A frissítést (3-7 nap) követően a webhely nem lesz elérhető a kereső számára. A webmester panel elérhető a Yandex (https://webmaster.yandex.ru/delurl.xml) és a Google (https://webmaster.yandex.ru/delurl.xml) keresőmotorok számára.
