Semalt nennt die Hauptgründe, warum der Googlebot auf einigen Websites nicht jede Seite crawlt


Wir hatten Kunden, die sich beschwerten, dass einige ihrer Websites nicht vom Googlebot gecrawlt werden. Als SEO-Experten ist es unsere Aufgabe, das Problem zu finden und zu beheben, damit unsere Kunden zufrieden sind und ihre Website in Top-Zustand halten können.

John Mueller von Google erklärt einige Faktoren, die beeinflussen, wie die Seiten einer Website gecrawlt werden. Das war natürlich nicht spezifisch, aber es weist uns in die richtige Richtung. In diesem Beitrag hebt John auch hervor, warum einige Seiten einer Site nicht gecrawlt werden.

Die Frage, die zu dieser Antwort führte, war die Frage, warum Google Websites relativ langsam gecrawlt hat, was nicht ausreicht, um die enorme Anzahl von Websites heute zu bewältigen.

Informationen zum Google-Crawling-Budget

Dies ist der erste Bereich, auf den wir uns konzentrieren, da er viel darüber erklärt, wie oft Google eine Website crawlt. Googlebot (der Name für den Webcrawler von Google) durchsucht Webseiten und hält sie indiziert, damit sie in den SERPs platziert werden können. Allerdings wird die große Menge an Websites zum Problem, weshalb Google eine Strategie entwickelt hat, bei der nur qualitativ hochwertige Webseiten indiziert werden. Betrachten Sie es als eine Art Filter. Anstatt all diese Ressourcen für Seiten auszugeben, die für den Nutzer höchstwahrscheinlich irrelevant sind, konzentriert sich Google nur auf Webseiten von hoher Qualität.

Das Crawl-Budget einer Website ist die Menge an Ressourcen, die Google für das Crawlen dieser Website aufwendet. Es ist auch wichtig zu beachten, dass nicht alles, was gecrawlt wird, indiziert wird. Webseiten werden erst indiziert, nachdem sie gecrawlt und als wertvoll eingestuft wurden.

Sobald Ihr Crawl-Budget aufgebraucht ist, stoppt Google das Crawlen Ihrer Webseiten.

Festlegen Ihres Crawling-Budgets

Das Crawling-Budget einer Website wird durch vier Hauptfaktoren bestimmt:
Es ist leicht zu verstehen, warum Sie sich solche Sorgen machen, wenn einige Ihrer Inhalte als Website-Inhaber nicht gecrawlt werden. Dies verringert Ihre Chancen auf ein Ranking, insbesondere wenn Ihre wertvollsten Inhalte ausgelassen werden.

Crawling-Probleme beheben

Beheben von Problemen mit Ihren Meta-Tags oder der robots.txt-Datei

Probleme, die in diese Kategorie fallen, sind normalerweise leicht zu erkennen und zu lösen. Manchmal kann Ihre gesamte Website oder bestimmte Seiten Ihrer Website von Google nicht gesehen werden, da der Googlebot nicht darauf zugreifen darf.

Es gibt eine Reihe von Bot-Befehlen, die das Crawlen von Seiten verhindern. Dies kann durch Überprüfen Ihrer Meta-Tags und der robots.txt-Datei behoben werden. Wenn Sie die richtigen Parameter haben und diese angemessen verwenden, können Sie Ihr Crawl-Budget sparen und den Googlebot in die richtige Richtung lenken.

Auch No-Follow-Links sind möglich. In diesem Fall indiziert der Crawler eine Seite, wird jedoch daran gehindert, dem Link zu folgen. Dies ist nicht gut für Ihre Website, da der Googlebot diese internen Links verwendet, um neue Seiten zu finden. Dies bringt uns zum nächsten Punkt.

Interne defekte Links

Defekte Links sind weder für Benutzer noch für Crawler eine gute Erfahrung. Für jede Seite, die indiziert wird, wird ein Teil des Crawling-Budgets der Website entnommen. Aus diesem Grund wissen wir, dass der Bot bei zu vielen defekten Links Ihr gesamtes Crawl-Budget für die Indexierung verschwendet, aber nicht auf Ihren relevanten und qualitativ hochwertigen Seiten ankommt.

Durch das Reparieren Ihrer defekten Links werden Ihre hochwertigen Inhalte für den Googlebot besser sichtbar.

Interne defekte Links können das Ergebnis von URL-Tippfehlern sein (wo sich ein Tippfehler in der URL-Adresse des Hyperlinks befindet), veraltete URLs oder Seiten mit verweigertem Zugriff.

Serverbezogenes Problem

Ihr Server kann auch der Grund dafür sein, dass Google bestimmte Seiten nicht findet. Eine hohe Anzahl von 5xx-Fehlern auf Ihrer Website kann ein Signal dafür sein, dass mit Ihrem Server etwas nicht stimmt. Um dieses Problem zu lösen, konfigurieren wir Bereiche mit Fehlern neu und beheben die Fehler.

Manchmal kann es sein, dass Ihr Server überlastet ist. In diesem Fall reagiert es nicht mehr auf die Anforderungen des Benutzers und des Bots. In diesem Fall können Ihre Zuschauer und Bots nicht auf diese Seite zugreifen.

In extremen Situationen könnten wir auf eine Fehlkonfiguration des Webservers achten. Hier ist die Site für menschliche Benutzer sichtbar, gibt jedoch den Site-Crawlern immer wieder eine Fehlermeldung aus. Dieses Problem ist ziemlich knifflig, da es schwer zu erkennen sein kann. In diesem Fall ist die Webseite für den Googlebot nicht zugänglich, was es unmöglich macht, von Bots gecrawlt und indiziert zu werden.

Probleme mit der XML-Sitemap

Sitemap wirkt sich auf eine Vielzahl von Elementen auf Ihrer Website aus. Es ist wichtig, dass die URLs in Ihrer Sitemap relevant sind. Sie sollten aktualisiert und korrekt sein. Dies ist wichtig, denn wenn Ihr Crawl-Budget nicht ausreicht, leitet Ihre Sitemap Crawler-Bots zu den relevantesten Websites. Auf diese Weise werden Ihre wichtigsten Seiten weiterhin indiziert.

Fehler bei der Webarchitektur

Dies ist eines der am schwierigsten zu lösenden Probleme. Probleme, die in diese Kategorie fallen, können die Crawler auf Ihrer Website blockieren oder desorientieren. Dies kann in Form von Problemen mit Ihrer internen Verlinkung auftreten. Oder es könnte sich um falsche Weiterleitungen handeln. In diesem Fall werden Nutzer und Bots auf weniger relevante Seiten weitergeleitet. Schließlich haben wir Duplicate Content. Leider ist Duplicate Content eines der häufigsten SEO-Probleme. Dies ist auch einer der Hauptgründe dafür, dass Ihr Crawl-Budget aufgebraucht ist und es für Google schwierig wird, einige Ihrer Seiten zu crawlen.

Abschluss

Google kann Ihre Inhalte nicht nur aufgrund von inhaltlichen Problemen oder der Optimierung für die falschen Keywords nicht finden. Auch optimierte Inhalte können bei Crawlbarkeitsproblemen für Google unsichtbar bleiben.

Wir sind hier, um herauszufinden, was nicht stimmt, und einen Plan zu entwerfen, wie wir dieses Problem beheben können. Kontaktiere uns heute und Semalt kann Ihnen helfen, Ihre Inhalte wieder auf das Radar zu bringen.

mass gmail