Semalt: Woher weiß Google, wann (und warum) das Crawlen Ihrer Website beendet werden soll?

Google Spider sind bei der Vermarktung einer Website genauso wichtig wie die SEO-Kampagne. Sie crawlen Websites und indizieren Inhalte von allen Seiten, die sie finden können. Außerdem werden aktualisierte Seiten der Site neu indiziert. Dies geschieht regelmäßig, basierend auf mehreren Faktoren. Dazu gehören unter anderem der PageRank, Crawling-Einschränkungen und Links auf der Seite. Die Häufigkeit, mit der Google Spider eine Website crawlen, hängt von einem oder mehreren dieser Faktoren ab.

Eine Website sollte sowohl für die Besucher als auch für die Google-Crawl-Spinnen leicht navigierbar sein. Dies ist der Grund, warum eine crawl-freundliche Website ein zusätzlicher Vorteil für die eigene SEO-Kampagne ist. Andernfalls kann Google nicht auf den Inhalt zugreifen, wodurch das Ranking der Website auf der Ranking-Seite der Suchmaschine verringert wird.

Ross Barber, Customer Success Manager von Semalt , definiert, dass zwei der wichtigsten Indexierungsfaktoren, auf die sich Google stützt, um die Entscheidung zu beeinflussen, das Crawlen Ihrer Website zu verlangsamen oder zu beenden, die Verbindungszeit und der HTTP-Statuscode sind. Andere umfassen den Befehl disavow, "no-follow" -Tags und robots.txt.

Verbindungszeit- und HTTP-Statuscodes

Der Verbindungszeitfaktor bezieht sich auf die Zeit, die der Google-Crawl-Bot benötigt, um den Site-Server und die Webseiten zu erreichen. Die Geschwindigkeit wird von Google sehr geschätzt, da sie in hohem Maße auf eine gute Nutzererfahrung hinweist. Wenn die Webseite nicht geschwindigkeitsoptimiert ist, hat die Website einen schlechten Rang. Google Spider versuchen, die Website zu erreichen. Wenn die zum Erstellen einer Verbindung benötigte Zeit länger ist, ziehen sie sich zurück und crawlen sie weniger häufig. Wenn Google versucht, die Website mit der aktuellen Geschwindigkeit zu indizieren, wird die Nutzererfahrung möglicherweise unterbrochen, da der Server dadurch erheblich verlangsamt wird.

Der zweite Indizierungsfaktor sind die HTTP-Statuscodes, die angeben, wie gut der Server auf eine Anforderung zum Crawlen der Site reagiert. Wenn die Statuscodes innerhalb des 5xx-Bereichs liegen, übernimmt Google die Aufgabe, die Rate zu stoppen oder zu verzögern, mit der die aktuelle Website gecrawlt wird. Alles innerhalb des 5xx-Bereichs ist ein Indikator für mögliche Probleme mit dem Server und die Beantwortung der Anfrage kann problematisch sein. Aufgrund des Risikos, zusätzliche Probleme zu verursachen, treten Google-Bots zurück und führen eine Indizierung durch, wenn der Server besser erreichbar ist.

Wann setzt Google das Crawlen der Website fort?

Google ist davon überzeugt, den Nutzern die bestmögliche Erfahrung zu bieten, und bewertet Websites, die ihre SEO-Elemente in Bezug auf diese Ziele optimieren, als hoch. Wenn die Website derzeit die oben genannten Probleme aufweist, wird ihr Googlebot angewiesen, sie zu einem späteren Zeitpunkt zu crawlen. Wenn die Probleme weiterhin bestehen, verliert der Eigentümer die großartige Gelegenheit, Google seinen Inhalt durchgehen zu lassen und ihm einen wohlverdienten Rang in den Suchergebnissen zuzuweisen. Zusätzlich zu diesen Problemen wird die Website bei Anzeichen von Spam daran gehindert, jemals in den Suchergebnissen angezeigt zu werden.

Wie alle anderen Algorithmen, die Google verwendet, sind auch die Spinnen automatisch. Sie wurden entwickelt, um Inhalte basierend auf bestimmten Parametern zu finden, zu crawlen und zu indizieren. Wenn die Site bestimmten Best Practices nicht entspricht, erfolgt keine Indizierung. Es gibt viele andere Faktoren, aber denken Sie immer daran, die Verbindungszeit und die HTTP-Statuscodes Ihrer Site genau zu beachten.