SEOLEA crawler
A SEOLEA crawler weboldal-elemzések részeként látogat meg nyilvánosan elérhető weboldalakat. Feladata, hogy korlátozott számú oldalt technikai, tartalmi és keresőoptimalizálási szempontból megvizsgáljon.
Hogyan azonosítható?
A crawler a következő User-Agenttel azonosítja magát:
Mozilla/5.0 (compatible; SEOLEA/1.0; +https://seolea.hu/crawler/)
A SEOLEA nem adja ki magát Googlebotnak, Bingbotnak vagy más keresőmotor robotjának.
Mit csinál?
A crawler publikus weboldalakat kér le, és korlátozott shallow crawl keretében oldalanként technikai és tartalmi jellemzőket vizsgál. Kizárólag az adott audit céljához szükséges oldalakat elemzi, nem folyamatos internetes indexelőrobot.
A crawler figyelembe veszi a webhely alkalmazható robots.txt szabályait. A SEOLEA auditonként korlátozott számú oldalt vizsgál; nem folyamatos háttér-crawlként működik.
Miért látom a szerverlogban?
Ha a szervernaplóban ezt a User-Agentet látja, az azt jelenti, hogy a webhely egy SEOLEA weboldal-elemzés részeként került lekérésre.
Mit nem csinál?
- Nem keresőmotor.
- Nem épít publikus keresési indexet.
- Nem jelentkezik be védett felületekre.
- A jelenlegi kizárási szabályok szerint nem próbál adminisztrációs vagy checkout oldalakat crawlolni.
- Nem próbál Googlebotnak vagy más crawlernek látszani.
Kapcsolat
Ha a SEOLEA crawlerrel kapcsolatban kérdése van, vagy egy hozzáférési problémát szeretne jelezni, írjon az info@webterulo.hu címre.