Die Bearbeitung einer robots.txt-Datei ist gar nicht so einfach. Der robots.txt-Tester von Bing ist deswegen eine große Hilfe für viele Webmaster.
Die Bearbeitung einer robots.txt-Datei ist gar nicht so einfach. Der robots.txt-Tester von Bing ist deswegen eine große Hilfe für viele Webmaster. Bild: pixabay

Der robots.txt-Tester führt Schritt für Schritt durch die Bearbeitung

Wie wir bereits berichteten, bietet das Bing Webmastertool seit einer Weile einen robots.txt-Tester. Letzten Freitag hat Bing auf seinem Blog noch einmal darauf hingewiesen, dass mit dem robots.txt-Tester Dateien überprüft und bearbeitet werden können. Der robots.txt-Tester hilft nicht nur dabei robots.txt-Dateien zu analysieren und Crawlingprobleme hervorzuheben, sondern führt auch Schritt für Schritt vom Abrufen der neuesten Datei bis zum Hochladen derselben Datei an die entsprechende Adresse.

Vorgenommene Änderungen können sofort auf Fehler überprüft werden

Der Tester überprüft die eingereichte URL gegen den Inhalt des Editors. Dadurch kann die URL nach Änderungen im Editor einfach und sofort erneut getestet und auf Fehler überprüft werden.

Download-Option ermöglicht offline-Aktualisierung der txt-Datei

Das System prüft auf “allow/disallow”-Anweisungen für die jeweiligen User Agents. Die robots.txt-Datei wird im Editor in 4 Variationen angezeigt: http://, https://, http://www und https://www. Webmaster können die txt-Datei bearbeiten und/oder herunterladen, um sie offline zu aktualisieren. Wenn an anderer Stelle Änderungen an der robots-Datei vorgenommen wurden, kann die aktuellste Version der Datei abgerufen werden.

Die Download-Option bietet einen Schritt-für-Schritt-Prozess zur Aktualisierung der Datei. Erst wird die bearbeitete Datei heruntergeladen, dann auf die Domain-Root hochgeladen, damit eine Live-Version überprüft werden kann. Schließlich kann Bing dazu aufgefordert werden, auf die aktuellste Version der txt-Datei zurückzugreifen.

Fazit: Viele Webmaster tun sich bei der Analyse und Bearbeitung ihrer robots.txt-Datei schwer. Deswegen ist der txt-Tester von Bing ein sehr nützliches Werkzeug.

Schreibe einen Kommentar

jetzt den KLICK.NEWS Newsletter abonnieren

Und wir halten Dich immer auf dem aktuellen Stand!

Diese Beiträge könnten Dich auch interessieren:

iContact übernimmt MOZ – Marktkonsolidierung schreitet voran.

Der Online Marketing Markt befindet sich auch 2021 in einem Stadium der Konsolidierung: der eMail-Marketing-Riese iContact hat nun den SEO-Spezialisten und Toolanbieter MOZ übernommen.

Werbung verändert sich: weitere Tracking-Einschränkungen bei Google

Google hat in einem Blogbeitrag erneut verkündet, das Tracking von Nutzern und personalisierte Werbung zukünftig zu unterlassen. Einen besonderen Anlass dazu gab es nicht, die Ersatz-Technologie wurde bereits im Januar angekündigt. Wenn mit der Mitteilung das Ziel verfolgt wird, dass viel über das Ende der personalisierten Werbung beim Suchmaschinengiganten berichtet wird, ist der Plan aufgegangen.

Google stellt Cookie-Alternative FLoC vor

Google macht sich bereit für eine Internet-Welt ohne Cookies. Der Privacy-First Ansatz soll in Googles Anzeigengeschäft künftig mittels “Federal Learning of Cohorts”, kurz “FLoC” umgesetzt werden. Die Cookie-Alternative soll jedoch ähnlich hohe Konversionsraten hervorrufen.

Google Indien: Links aus Featured Snippets zu weiteren Suchergebnissen

Featured Snippets in der indischen Google-Suche enthalten aktuell Links, die den Benutzer zu weiteren Suchergebnissen führen. Das ist vielen SEO’s ein Dorn im Auge. Denn von den vielen Klicks auf Featured Snippets landet dadurch ein Teil der Benutzer nicht mehr auf den Websites hinter den Snippets.