Wiele osób zajmujących się pozycjonowaniem (chociaż nie tylko) wielokrotnie słyszała o Crawlerze choć nie zawsze zdawała sobie z tego sprawę.
Co to jest Crawler?
Crawler (od ang. „crawl”- czołgać się) to robot indeksujący, bot wyszukiwarki czasem nazywany też pająkiem, jest to program używany przez przeglądarki internetowe. Jego głównym zadaniem jest zbieranie i gromadzenie informacji o stronach internetowych. Chodzi np. o
- strukturę,
- zawartości witryn:
- teksty,
- grafiki, obrazy,
- i inne elementy witryny.
Dane pobrane przez Crawlera jeśli są wartościowe mogą następnie zostać dodane do indeksu przeglądarki.
Najważniejsze zadania crawlera
Do najważniejszych czynności jakie wykonuje bot wyszukiwarek zalicza się:
- sprawdzanie kodu witryny,
- badanie zawartości strony, pod kontem:
- aktualizacji,
- poprawności kodu,
- linków w obrębie witryny jak i tych wychodzących,
- zbieranie różnych istotnych informacji o stronie, które mogą być przydatne dla użytkownika końcowego,
Czy to wszystko?
Nie do końca pod tą nazwą mogą się bowiem możemy także rozumieć narzędzia, które badają (sprawdzają) kod strony internetowej. Takie jak:
- Screaming Frog,
- Sitebulb,
- Website Auditor,
Narzędzia te skanują witrynę internetową, a następnie wyświetlają listę istotnych informacji jakie udało im się zebrać. Chodzi o informacje takie jak np. title, description, zawartość alt dla grafik.
Najpopularniejszym botem jest robot Google.
warto przeczytać:
- https://delante.pl/definicje/crawler/
- https://www.semtec.pl/slownik-seo/crawler/
W branży IT jestem już od 2007 roku. W tym czasie zajmowałam się głównie tematyką pozycjonowania i budowy stron internetowych. Hobbistycznie zajmuje się fotografią, podróżami (głównie tymi mikro). Interesuje się mitologią (Nordycką, Grecką i Rzymską) i historią.