Die Bearbeitung einer robots.txt-Datei ist gar nicht so einfach. Der robots.txt-Tester von Bing ist deswegen eine große Hilfe für viele Webmaster.
Die Bearbeitung einer robots.txt-Datei ist gar nicht so einfach. Der robots.txt-Tester von Bing ist deswegen eine große Hilfe für viele Webmaster. Bild: pixabay

Der robots.txt-Tester führt Schritt für Schritt durch die Bearbeitung

Wie wir bereits berichteten, bietet das Bing Webmastertool seit einer Weile einen robots.txt-Tester. Letzten Freitag hat Bing auf seinem Blog noch einmal darauf hingewiesen, dass mit dem robots.txt-Tester Dateien überprüft und bearbeitet werden können. Der robots.txt-Tester hilft nicht nur dabei robots.txt-Dateien zu analysieren und Crawlingprobleme hervorzuheben, sondern führt auch Schritt für Schritt vom Abrufen der neuesten Datei bis zum Hochladen derselben Datei an die entsprechende Adresse.

Vorgenommene Änderungen können sofort auf Fehler überprüft werden

Der Tester überprüft die eingereichte URL gegen den Inhalt des Editors. Dadurch kann die URL nach Änderungen im Editor einfach und sofort erneut getestet und auf Fehler überprüft werden.

Download-Option ermöglicht offline-Aktualisierung der txt-Datei

Das System prüft auf “allow/disallow”-Anweisungen für die jeweiligen User Agents. Die robots.txt-Datei wird im Editor in 4 Variationen angezeigt: http://, https://, http://www und https://www. Webmaster können die txt-Datei bearbeiten und/oder herunterladen, um sie offline zu aktualisieren. Wenn an anderer Stelle Änderungen an der robots-Datei vorgenommen wurden, kann die aktuellste Version der Datei abgerufen werden.

Die Download-Option bietet einen Schritt-für-Schritt-Prozess zur Aktualisierung der Datei. Erst wird die bearbeitete Datei heruntergeladen, dann auf die Domain-Root hochgeladen, damit eine Live-Version überprüft werden kann. Schließlich kann Bing dazu aufgefordert werden, auf die aktuellste Version der txt-Datei zurückzugreifen.

Fazit: Viele Webmaster tun sich bei der Analyse und Bearbeitung ihrer robots.txt-Datei schwer. Deswegen ist der txt-Tester von Bing ein sehr nützliches Werkzeug.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

jetzt den KLICK.NEWS Newsletter abonnieren

Und wir halten Dich immer auf dem aktuellen Stand!

Diese Beiträge könnten Dich auch interessieren:

Google Chrome: URLs werden in Zukunft gekürzt

Google startet mal wieder einen Angriff auf die URL-Leiste. Der Browser Chrome 85 versteckt vollständige URLs – nur der Domain-Name bleibt bestehen. Was genau die Intention von Google ist bleibt offen. Nach eigenen Aussagen seien ungekürzte URLs für viele User “zu kompliziert”.

LinkedIn schmeißt sich selbst aus dem Google-Index

Wer gestern mit der Site-Abfrage und der Domain www.linkedin.com herumgespielt hat, konnte und wollte seinen Augen nicht trauen: alle Inhalte von www.linkedin.com waren komplett aus dem Index verschwunden.

Externe Trafficschätzung ist jetzt auch mit SISTRIX möglich

Das SEO-Monitoring Tool SISTRX erweitert wieder einmal die Funktionen ihrer Toolbox. Neuestes Beta-Features ist die Trafficschätzung und Klickverteilung. Für eine externe Analyse von Wettbewerbern bietet die Toolbox nun noch mehr hilfreiche Daten für Webmaster und SEOs.

Google kündigt Start des SEO-Podcasts “Search Off the Record” an

Einblick hinter die Kulissen der Google-Suche soll bald der neue SEO-Podcast “Search Off the Record” geben – Hintergrundinformationen, wichtige Hinweise und mehr – direkt aus dem Hause Google.