El crawler més popular és GoogleBot, el rastrejador de Google, però, cada motor de cerca té el seu propi Crawler. Com que no té una traducció exacta, també se’l coneix com a spider, aranya o bot, ja que la seva funció principal és navegar per tot el www per detectar i analitzar els milions de pàgines que hi ha allotjades.
Els crawlers, en definitiva, són programes que tenen els cercadors com Google i que naveguen per la web seguint enllaços d'una pàgina a una altra. Crawling es refereix al rastreig i la lectura que fan els bots de cada motor de cerca, en arribar a una Pàgina.
Els crawlers revisen el codi amb què va ser programada la pàgina per verificar si hi ha algun problema, i si el seu contingut està optimitzat per als motors de cerca.
El primer pas que realitza Google Bot és buscar a la web quines són les noves URL que pot indexar, cosa que es realitza de forma automàtica i, segons Hubspot, pot prendre 1.375 minuts, és a dir, si vas publicar una pàgina web nova, probablement el crawler de Google la pugui indexar en poc menys d’un dia.
De fet, quan es crea una nova pàgina els servidors de Google reben un ping que els indica que hi ha nou contingut per catalogar. És important esmentar que els propietaris dels llocs web poden ajudar a que el crawler de Google faci això en menys temps i de manera més efectiva. Per fer-ho, s'ha d'enviar, de forma manual, el sitemap a Google a través de Google Search Console.
Un cop detectada la web, el crawler de Google sencarrega de llegir i analitzar el codi dels llocs que troba, a més a més segueix totes les cadenes d’enllaços que estiguin vinculats al lloc, cosa que hem de tenir present en elmoment de fer interlinking.
Finalment, el crawler de Google envia les dades que ha trobat i analitzat als seus servidors, per fer la indexació i definir el rànquing de pàgines que apareixeran a les SERPs per a determinats tipus de cerca.
Com que es tracta del motor de cerca més important a nivell mundial, qualsevol especialista en SEO ha de conèixer com funciona el crawler de Google, ja que així podrà optimitzar el seu contingut seguint totes les pautes de Google.