Spindel (Crawler/Bot)

En spindel (även kallad crawler eller bot) är en sökmotorkomponent som indexerar internet genom att "spinna" sig genom webben. En sökmotorspindel följer länkar till olika sidor på din webbplats och till andra webbplatser. Det är därför bakåtlänkar är så viktiga (se SEO).

Hur fungerar spindlar?

Spindeln gör kopior av de webbplatser den besöker och sparar dem i sökmotorns index. Därför är det bara de sidor som besöks och indexeras av spindeln som kan visas i sökresultaten. Du kan påverka hur spindlar indexerar din webbplats genom robots.txt och sitemaps.