robots.txt-Dateien verwalten

In diesem Artikel wird beschrieben, wie sie robots.txt Dateien in Microsoft Dynamics 365 E-Commerce verwalten.

Der Robots-Ausschlussstandard oder robots.txt ist ein Standard, den Websites für die Kommunikation mit Webrobotern verwenden. Es weist Webroboter an, welche Bereiche einer Website nicht besucht werden sollten. Roboter werden häufig von Suchmaschinen verwendet, um Websites zu indizieren.

Um Roboter von einem Server auszuschließen, erstellen Sie eine Datei auf dem Server. Geben Sie in dieser Datei eine Zugriffsrichtlinie für Roboter an. Die Datei muss über HTTP unter der lokalen URL /robots.txt erreichbar sein. Mithilfe der robots.txt-Datei können Suchmaschinen den Inhalt Ihrer Website indizieren.

Mit Dynamics 365 Commerce können Sie eine robots.txt-Datei für Ihre Domain hochladen. Für jede Domain in Ihrer Commerce-Umgebung können Sie eine robots.txt-Datei hochladen und dieser Domain zuordnen.

Weitere Informationen zur robots.txt-Datei finden Sie unter Die Web Robots-Seiten.

Funktionsweise von robots.txt mit verschiedenen Domänentypen

Robots.txt Verhalten unterscheidet sich je nach Typ der Domäne für den Zugriff auf Ihre Commerce-Website.

Benutzerdefinierte Produktionsdomänen

Wenn Sie eine robots.txt Datei für eine benutzerdefinierte Domäne hochladen, z. B. www.fabrikam.com, wird diese Datei bereitgestellt, wenn Suchmaschinen oder Benutzer auf Ihre Produktionswebsite /robots.txt zugreifen. Mit dieser Methode können Suchmaschinen Ihre Website gemäß Ihren konfigurierten Regeln indizieren.

Internal Commerce-generierte Domänen

Interne Domänen, die das .dynamics365commerce.ms Format verwenden, dienen der hochgeladenen robots.txt Datei, ähnlich wie benutzerdefinierte Produktionsdomänen. Alle HTTP-Antworten aus diesen Domänen enthalten jedoch den X-Robots-Tag: noindex, nofollow Header, der Suchmaschinen anweist, keine Links auf diesen Seiten zu indizieren oder zu folgen. Weitere Informationen finden Sie unter X-Robots-Tag Antwortheader für interne Domänen.

X-Robots-Tag Antwortheader für interne Domänen

Ab Commerce Version 10.0.48 Vorschauversion enthalten alle HTTP-Antworten aus internen Commerce-generierten Domänen (.dynamics365commerce.ms) einen X-Robots-Tag: noindex, nofollow Antwortheader. Diese Änderung gilt automatisch für alle Mandanten und erfordert kein Versionsupgrade. Der Header weist Suchmaschinen an, die Seite nicht zu indizieren und keinen Links auf ihr zu folgen. Außerdem hilft es Suchmaschinen-Crawlern, Seiten neu zu durchforsten und die noindex Direktive zu ermitteln, die zuvor indizierte Inhalte aus Suchergebnissen entfernt.

Testen robots.txt für eine bestimmte Domäne

Wenn Sie eine Vorschau anzeigen möchten, wie Ihre robots.txt-Datei für eine bestimmte benutzerdefinierte Domäne angezeigt wird, wenn Sie von einer internen commerce-generierten Domäne aus zugreifen, fügen Sie den ?domain= Abfrageparameter zur robots.txt URL hinzu.

Wenn Ihre interne Domäne beispielsweise lautet https://<e-commerce-tenant-name>.dynamics365commerce.ms und Ihre benutzerdefinierte Domäne lautet <your-custom-domain>, verwenden Sie die folgende URL:

https://<e-commerce-tenant-name>.dynamics365commerce.ms/robots.txt?domain=<your-custom-domain>

Mit dieser Methode können Sie die robots.txt-Konfiguration für jeden Ihrer unterstützten Hostnamen überprüfen, bevor Sie mit Ihrer Produktionsdomäne live gehen. Weitere Informationen zu vom Commerce generierten URLs finden Sie unter "Commerce-generierte URLs". Weitere Informationen zum Konfigurieren von benutzerdefinierten Domänen finden Sie unter Konfigurieren Ihres Domänennamens.

Laden Sie eine robots.txt-Datei hoch

Nachdem Sie Ihre robots.txt Datei gemäß dem Roboterausschlussstandard erstellt und bearbeitet haben, stellen Sie sicher, dass Sie auf die Datei auf dem Computer zugreifen können, auf dem Sie die Tools für die Erstellung von Commerce verwenden. Die Datei muss robots.txt genannt werden. Um optimale Ergebnisse zu erzielen, verwenden Sie das format, das im Standard angegeben ist. Jeder Commerce-Kunde ist für die Validierung und Pflege des Inhalts seiner robots.txt-Datei verantwortlich. Um eine robots.txt Datei hochzuladen, melden Sie sich als Systemadministrator bei Commerce an.

Führen Sie die folgenden Schritte aus, um eine robots.txt Datei in Commerce hochzuladen:

1. Melden Sie sich bei Commerce als Systemadministrator an.
2. Wählen Sie im linken Navigationsbereich Mandanteneinstellungen (neben dem Zahnradsymbol) aus, um es zu erweitern.
3. Wählen Sie unter Mandanteneinstellungen die Option Robots.txt aus. Eine Liste aller Ihrer Umgebung zugeordneten Domänen wird im Hauptteil des Fensters angezeigt.
4. Wählen Sie Verwalten aus, um eine robots.txt-Datei für eine Domäne in Ihrer Umgebung hochzuladen.
5. Wählen Sie im rechten Menü Hochladen (den nach oben zeigenden Pfeil) neben der Domäne aus, die der robots.txt-Datei zugewiesen ist. Ein Dateibrowser-Dialogfeld wird angezeigt.
6. Navigieren Sie im Dialogfeld zu der robots.txt-Datei, die Sie für die zugeordnete Domäne hochladen möchten, und wählen Sie dann Öffnen aus, um den Upload abzuschließen.

Laden Sie eine robots.txt-Datei hoch

Führen Sie die folgenden Schritte aus, um eine robots.txt Datei in Commerce herunterzuladen:

1. Melden Sie sich bei Commerce als Systemadministrator an.
2. Wählen Sie im linken Navigationsbereich Mandanteneinstellungen (neben dem Zahnradsymbol) aus, um es zu erweitern.
3. Wählen Sie unter Mandanteneinstellungen die Option Robots.txt aus. Eine Liste aller Ihrer Umgebung zugeordneten Domänen wird im Hauptteil des Fensters angezeigt.
4. Wählen Sie Verwalten aus, um eine robots.txt-Datei für eine Domäne in Ihrer Umgebung herunterzuladen.
5. Wählen Sie rechts im Menü die Schaltfläche Herunterladen aus (der nach unten zeigende Pfeil) neben der Domäne, die der robots.txt-Datei zugeordnet ist. Ein Dateibrowser-Dialogfeld wird angezeigt.
6. Navigieren Sie im Dialogfeld zum gewünschten Speicherort auf Ihrem lokalen Laufwerk, bestätigen Sie einen Dateinamen oder geben Sie einen ein. Wählen Sie dann Speichern aus, um den Download abzuschließen.

Laden Sie eine robots.txt-Datei hoch

Führen Sie die folgenden Schritte aus, um eine robots.txt Datei in Commerce zu löschen:

1. Melden Sie sich bei Commerce als Systemadministrator an.
2. Wählen Sie im linken Navigationsbereich Mandanteneinstellungen (neben dem Zahnradsymbol) aus, um es zu erweitern.
3. Wählen Sie unter Mandanteneinstellungen die Option Robots.txt aus. Eine Liste aller Ihrer Umgebung zugeordneten Domänen wird im Hauptteil des Fensters angezeigt.
4. Wählen Sie Verwalten aus, um eine robots.txt-Datei für eine Domäne in Ihrer Umgebung zu löschen.
5. Wählen Sie im Menü rechts die Schaltfläche Löschen (das Papierkorb-Symbol) neben der Domäne aus, die der robots.txt-Datei zugeordnet ist. Ein Dateibrowserfenster wird angezeigt.
6. Navigieren Sie im Dateibrowser-Fenster zu der robots.txt-Datei, die Sie für die Domäne löschen möchten, wählen Sie sie aus und klicken Sie dann auf Öffnen. Eine Warnmeldung wird angezeigt.
7. Wählen Sie im Nachrichtenfeld Löschen aus, um das Löschen der robots.txt-Datei zu bestätigen.

Mehr Ressourcen

• Domänennamen konfigurieren
• Neuen E-Commerce-Mandanten bereitstellen
• E-Commerce-Site erstellen
• Zuordnen einer Dynamics 365 Commerce-Website zu einem Onlinekanal
• URL-Umleitungen in Massen hochladen
• Einrichten eines B2C-Mandanten in Commerce
• Einrichten angepasster Seiten für die Benutzeranmeldungen
• Konfigurieren Sie mehrere B2C-Mandanten in einer Commerce-Umgebung
• Hinzufügen von Unterstützung für ein Content Delivery Network (CDN)
• Standortbasierte Shop-Erkennung aktivieren