Die Bearbeitung einer robots.txt-Datei ist gar nicht so einfach. Der robots.txt-Tester von Bing ist deswegen eine große Hilfe für viele Webmaster.
Die Bearbeitung einer robots.txt-Datei ist gar nicht so einfach. Der robots.txt-Tester von Bing ist deswegen eine große Hilfe für viele Webmaster. Bild: pixabay

Der robots.txt-Tester führt Schritt für Schritt durch die Bearbeitung

Wie wir bereits berichteten, bietet das Bing Webmastertool seit einer Weile einen robots.txt-Tester. Letzten Freitag hat Bing auf seinem Blog noch einmal darauf hingewiesen, dass mit dem robots.txt-Tester Dateien überprüft und bearbeitet werden können. Der robots.txt-Tester hilft nicht nur dabei robots.txt-Dateien zu analysieren und Crawlingprobleme hervorzuheben, sondern führt auch Schritt für Schritt vom Abrufen der neuesten Datei bis zum Hochladen derselben Datei an die entsprechende Adresse.

Vorgenommene Änderungen können sofort auf Fehler überprüft werden

Der Tester überprüft die eingereichte URL gegen den Inhalt des Editors. Dadurch kann die URL nach Änderungen im Editor einfach und sofort erneut getestet und auf Fehler überprüft werden.

Download-Option ermöglicht offline-Aktualisierung der txt-Datei

Das System prüft auf “allow/disallow”-Anweisungen für die jeweiligen User Agents. Die robots.txt-Datei wird im Editor in 4 Variationen angezeigt: http://, https://, http://www und https://www. Webmaster können die txt-Datei bearbeiten und/oder herunterladen, um sie offline zu aktualisieren. Wenn an anderer Stelle Änderungen an der robots-Datei vorgenommen wurden, kann die aktuellste Version der Datei abgerufen werden.

Die Download-Option bietet einen Schritt-für-Schritt-Prozess zur Aktualisierung der Datei. Erst wird die bearbeitete Datei heruntergeladen, dann auf die Domain-Root hochgeladen, damit eine Live-Version überprüft werden kann. Schließlich kann Bing dazu aufgefordert werden, auf die aktuellste Version der txt-Datei zurückzugreifen.

Fazit: Viele Webmaster tun sich bei der Analyse und Bearbeitung ihrer robots.txt-Datei schwer. Deswegen ist der txt-Tester von Bing ein sehr nützliches Werkzeug.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

jetzt den KLICK.NEWS Newsletter abonnieren

Und wir halten Dich immer auf dem aktuellen Stand!

Diese Beiträge könnten Dich auch interessieren:

iContact übernimmt MOZ – Marktkonsolidierung schreitet voran.

Der Online Marketing Markt befindet sich auch 2021 in einem Stadium der Konsolidierung: der eMail-Marketing-Riese iContact hat nun den SEO-Spezialisten und Toolanbieter MOZ übernommen.

Google Chrome: URLs werden in Zukunft gekürzt

Google startet mal wieder einen Angriff auf die URL-Leiste. Der Browser Chrome 85 versteckt vollständige URLs – nur der Domain-Name bleibt bestehen. Was genau die Intention von Google ist bleibt offen. Nach eigenen Aussagen seien ungekürzte URLs für viele User “zu kompliziert”.

Google Indien: Links aus Featured Snippets zu weiteren Suchergebnissen

Featured Snippets in der indischen Google-Suche enthalten aktuell Links, die den Benutzer zu weiteren Suchergebnissen führen. Das ist vielen SEO’s ein Dorn im Auge. Denn von den vielen Klicks auf Featured Snippets landet dadurch ein Teil der Benutzer nicht mehr auf den Websites hinter den Snippets.

Google Rankingfaktoren 2021 – diesen Fokus müssen Unternehmen jetzt setzen

Nichts ist so stetig wie die Veränderung. Wie verändern die Core Web Vitals und E-A-T die Rankings bei Google? Und was wird aus AMP, wenn ab 2021 auch Nicht-AMP-Seiten als Top Stories bei Google angezeigt werden? SEO-Experte Aleh Barysevich hat bei searchenginewatch.com seine Einschätzung dazu veröffentlicht. Wir fassen zusammen, packen unsere Expertise dazu und geben einen Ausblick auf 2021. Dem CLS – Cumulative Layout Shift (einer der 3 Core Web Vitals) – und E-A-T schenken wir dabei besondere Beachtung.