A kereső robot felelős a weboldalak feltérképezéséért. A program automatikusan beolvassa az összes webhely adatait, és magát a keresőmotort érthető formában regisztrálja, így később a rendszer a felhasználó számára legmegfelelőbb eredményeket jeleníti meg.
Funkciók
Az összes indexelt információt egy közös adatbázis rögzíti.
A kereső robot egy olyan program, amely automatikusan végigjárja az internet oldalait, kérve a szükséges dokumentumokat és megkapja a feltérképezett webhelyek felépítését. A robot önállóan választja ki a beolvasandó oldalakat. A legtöbb esetben a vizsgálandó helyeket véletlenszerűen választják ki.
Bot típusok
A nem megfelelően működő robot jelentősen megnöveli a hálózat és a szerver terhelését, ami az erőforrás elérhetetlenségét okozhatja.
Minden keresőmotornak több robotja van. Mindegyikük elvégezhet egy meghatározott funkciót. Például a Yandexnél néhány robot felelős az RSS-hírcsatornák beolvasásáért, ami hasznos lesz a blogok indexeléséhez. Vannak olyan programok is, amelyek csak képeket keresnek. A legfontosabb azonban az indexelő bot, amely minden keresés alapját képezi. Van egy kiegészítő gyors robot is, amelyet hírcsatornák és események frissítéseinek keresésére terveztek.
Beolvasási eljárás
A tartalom feltérképezésének megakadályozásának másik módja az, ha a regisztrációs panelen keresztül hozzáférést biztosít a webhelyhez.
A webhely meglátogatásakor a program megvizsgálja a fájlrendszert a robots.txt utasításfájlok jelenléte szempontjából. Ha van dokumentum, akkor megkezdődik a dokumentumba írt irányelvek olvasása. A Robots.txt letilthatja vagy fordítva engedélyezheti a webhely bizonyos oldalainak és fájljainak beolvasását.
A beolvasási folyamat a program típusától függ. Néha a robotok csak az oldal címét és néhány bekezdést olvasnak. Bizonyos esetekben a beolvasás a dokumentum egészében történik, a HTML jelöléstől függően, ami a kulcsmondatok megadásának eszközeként is működhet. Egyes programok rejtett vagy metacímkékre specializálódtak.
Hozzáadás a listához
Minden webmester megakadályozhatja, hogy a keresőmotor feltérképezze az oldalakat a robots.txt fájlban vagy a META címkében. A webhely készítője manuálisan is felveheti a webhelyet az indexelő sorba, de hozzáadása nem jelenti azt, hogy a robot azonnal feltérképezi a kívánt oldalt. Webhely felvételére a sorba a keresőmotorok speciális interfészeket is biztosítanak. Webhely hozzáadása jelentősen felgyorsítja az indexelési folyamatot. A keresőmotorba történő gyors regisztrációhoz webanalitikai rendszerek, webhelykönyvtárak stb. Is használhatók.
