Die Bearbeitung einer robots.txt-Datei ist gar nicht so einfach. Der robots.txt-Tester von Bing ist deswegen eine große Hilfe für viele Webmaster.
Die Bearbeitung einer robots.txt-Datei ist gar nicht so einfach. Der robots.txt-Tester von Bing ist deswegen eine große Hilfe für viele Webmaster. Bild: pixabay

Der robots.txt-Tester führt Schritt für Schritt durch die Bearbeitung

Wie wir bereits berichteten, bietet das Bing Webmastertool seit einer Weile einen robots.txt-Tester. Letzten Freitag hat Bing auf seinem Blog noch einmal darauf hingewiesen, dass mit dem robots.txt-Tester Dateien überprüft und bearbeitet werden können. Der robots.txt-Tester hilft nicht nur dabei robots.txt-Dateien zu analysieren und Crawlingprobleme hervorzuheben, sondern führt auch Schritt für Schritt vom Abrufen der neuesten Datei bis zum Hochladen derselben Datei an die entsprechende Adresse.

Vorgenommene Änderungen können sofort auf Fehler überprüft werden

Der Tester überprüft die eingereichte URL gegen den Inhalt des Editors. Dadurch kann die URL nach Änderungen im Editor einfach und sofort erneut getestet und auf Fehler überprüft werden.

Download-Option ermöglicht offline-Aktualisierung der txt-Datei

Das System prüft auf “allow/disallow”-Anweisungen für die jeweiligen User Agents. Die robots.txt-Datei wird im Editor in 4 Variationen angezeigt: http://, https://, http://www und https://www. Webmaster können die txt-Datei bearbeiten und/oder herunterladen, um sie offline zu aktualisieren. Wenn an anderer Stelle Änderungen an der robots-Datei vorgenommen wurden, kann die aktuellste Version der Datei abgerufen werden.

Die Download-Option bietet einen Schritt-für-Schritt-Prozess zur Aktualisierung der Datei. Erst wird die bearbeitete Datei heruntergeladen, dann auf die Domain-Root hochgeladen, damit eine Live-Version überprüft werden kann. Schließlich kann Bing dazu aufgefordert werden, auf die aktuellste Version der txt-Datei zurückzugreifen.

Fazit: Viele Webmaster tun sich bei der Analyse und Bearbeitung ihrer robots.txt-Datei schwer. Deswegen ist der txt-Tester von Bing ein sehr nützliches Werkzeug.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

jetzt den KLICK.NEWS Newsletter abonnieren

Und wir halten Dich immer auf dem aktuellen Stand!

Diese Beiträge könnten Dich auch interessieren:

Google Chrome: URLs werden in Zukunft gekürzt

Google startet mal wieder einen Angriff auf die URL-Leiste. Der Browser Chrome 85 versteckt vollständige URLs – nur der Domain-Name bleibt bestehen. Was genau die Intention von Google ist bleibt offen. Nach eigenen Aussagen seien ungekürzte URLs für viele User “zu kompliziert”.

Google Core Update Dezember 2020: Gewinner & Verlierer

Am 03. Dezember war es so weit: ein neues Google Core Update wurde ausgerollt! Es lassen sich bereits Auswirkungen der jüngsten Aktualisierungen beobachten. Lily Ray von Path interactive hat nun einige Daten für die USA analysiert und zusammengetragen.

Google Rankingfaktoren 2021 – diesen Fokus müssen Unternehmen jetzt setzen

Nichts ist so stetig wie die Veränderung. Wie verändern die Core Web Vitals und E-A-T die Rankings bei Google? Und was wird aus AMP, wenn ab 2021 auch Nicht-AMP-Seiten als Top Stories bei Google angezeigt werden? SEO-Experte Aleh Barysevich hat bei searchenginewatch.com seine Einschätzung dazu veröffentlicht. Wir fassen zusammen, packen unsere Expertise dazu und geben einen Ausblick auf 2021. Dem CLS – Cumulative Layout Shift (einer der 3 Core Web Vitals) – und E-A-T schenken wir dabei besondere Beachtung.

LinkedIn schmeißt sich selbst aus dem Google-Index

Wer gestern mit der Site-Abfrage und der Domain www.linkedin.com herumgespielt hat, konnte und wollte seinen Augen nicht trauen: alle Inhalte von www.linkedin.com waren komplett aus dem Index verschwunden.