Az indexelés az internetes erőforrásokon található fájlok keresési robot általi beolvasásának folyamata. Ezt az eljárást úgy hajtják végre, hogy a webhely elérhető legyen a keresőmotor különböző lekérdezéseinek keresési eredményeiben. A legnagyobb keresők között ma van a Yandex, amely a maga módján végzi ezt a vizsgálatot.
Utasítás
1. lépés
Az internetes oldal indexelését speciális automatikus programok - kereső robotok végzik, amelyek automatikusan nyomon követik az új webhelyek megjelenését a világhálón, folyamatosan vizsgálják az interneten található internetes oldalakat, fájlokat és az egyes erőforrásokhoz vezető linkeket.
2. lépés
A beolvasáshoz a robot abba a könyvtárba megy, ahol az erőforrás egy adott szerveren található. Új hely kiválasztásakor a robot elérhetőségén alapul. Például van egy vélemény, miszerint a Yandex először orosz nyelvű és orosz nyelven létrehozott webhelyeket vizsgál - ru, rf, su vagy ua, és csak ezután költözik más régiókba.
3. lépés
A robot navigál a helyszínre, és átvizsgálja annak szerkezetét, először olyan fájlokat keres, amelyek további keresést jeleznek. Például egy webhelyet a Sitemap.xml vagy a robots.txt fájl keres. Ezekkel a fájlokkal be lehet állítani a kereső robot viselkedését szkenneléskor. A webhelytérkép (sitemap.xml) használatával a robot pontosabb képet kap az erőforrás szerkezetéről. A webmester a robots.txt fájl segítségével határozza meg azokat a fájlokat, amelyeket nem szeretne megjeleníteni a keresési eredmények között. Például személyes adatok vagy más nem kívánt adatok lehetnek.
4. lépés
Miután beolvasta ezt a két dokumentumot és megkapta a szükséges utasításokat, a robot elkezdi elemezni a HTML kódot és feldolgozni a kapott címkéket. Alapértelmezés szerint robots.txt fájl hiányában a keresőmotor megkezdi a szerveren tárolt összes dokumentum feldolgozását.
5. lépés
A dokumentumok linkjeire kattintva a robot információkat kap más olyan helyekről is, amelyek az erőforrás nyomán sorban állnak a szkenneléshez. A webhelyen található beolvasott fájlokat szöveges másolatként és struktúraként menti a szerverekre a Yandex adatközpontjaiban.
6. lépés
Az újraszkennelés szükségességét a robotok is automatikusan meghatározzák. A program összehasonlítja a meglévő vizsgálati eredményt a webhely frissített verziójával, amikor újra végigmegy az indexelésen. Ha a program által kapott adatok eltérnek, akkor a webhely másolata a Yandex szerveren is frissül.
