So verhindern Sie, dass Suchmaschinen eine WordPress-Site crawlen
Kürzlich hat uns einer unserer Benutzer gefragt, wie sie verhindern können, dass Suchmaschinen ihre WordPress-Site crawlen und indizieren? Es gibt viele Szenarien, in denen Sie Suchmaschinen daran hindern möchten, Ihre Website zu crawlen oder in den Suchergebnissen aufzulisten. In diesem Artikel zeigen wir Ihnen, wie Sie verhindern können, dass Suchmaschinen eine WordPress-Site crawlen.
Warum und wer Suchmaschinen stoppen möchte
Für die meisten Websites sind Suchmaschinen die größte Verkehrsquelle. Sie fragen sich vielleicht, warum sollte jemand Suchmaschinen blockieren wollen?
Zu Beginn wissen viele Leute nicht, wie sie eine lokale Entwicklungsumgebung oder eine Staging-Site erstellen sollen. Wenn Sie Ihre Website live auf einem öffentlich zugänglichen Domainnamen entwickeln, möchten Sie wahrscheinlich nicht, dass Google Ihre Seite im Bau- oder Wartungsmodus indiziert.
Es gibt auch viele Leute, die WordPress verwenden, um private Blogs zu erstellen, und sie möchten nicht, dass diese in den Suchergebnissen indiziert werden, weil sie privat sind.
Einige Leute verwenden WordPress auch für das Projektmanagement oder Intranet, und Sie möchten nicht, dass Ihre internen Dokumente öffentlich zugänglich sind.
In allen oben genannten Situationen möchten Sie wahrscheinlich nicht, dass Suchmaschinen Ihre Website indizieren.
Ein häufiges Missverständnis ist, dass Suchmaschinen meine Website wahrscheinlich nie finden werden, wenn ich keine Links habe, die auf meine Domain verweisen. Dies ist nicht ganz richtig.
Es gibt viele Möglichkeiten, wie Suchmaschinen eine Website finden können, die an anderer Stelle verlinkt ist. Zum Beispiel:
- Ihr Domain-Name könnte zuvor im Besitz einer anderen Person gewesen sein, und sie haben immer noch einige Links, die auf Ihre Website verweisen.
- Die Ergebnisse einiger Domain-Suchseiten könnten mit Ihrem Link indiziert werden.
- Es gibt buchstäblich Tausende von Seiten mit nur einer Liste von Domainnamen.
Es gibt eine Menge Dinge im Web passiert, und die meisten von ihnen sind nicht unter Ihrer Kontrolle. Ihre Website steht jedoch weiterhin unter Ihrer Kontrolle, und Sie können Suchmaschinen anweisen, Ihre Website nicht zu indizieren oder zu verfolgen.
Video-Tutorial
Wenn Ihnen das Video nicht gefällt oder Sie weitere Anweisungen benötigen, lesen Sie weiter.
Blockieren von Suchmaschinen beim Crawlen und Indizieren Ihrer WordPress-Site
WordPress verfügt über eine integrierte Funktion, mit der Sie Suchmaschinen anweisen können, Ihre Site nicht zu indizieren. Alles, was Sie tun müssen, ist Einstellungen “ zu besuchen und das Kontrollkästchen neben der Option Suchmaschinensichtbarkeit zu aktivieren.
Wenn dieses Kontrollkästchen aktiviert ist, fügt WordPress diese Zeile der Kopfzeile Ihrer Website hinzu:
<meta name='robots' content='noindex,follow' />
WordPress ändert auch die Robots Ihrer Website.txt-Datei und fügen Sie diese Zeilen hinzu:
User-agent: *Disallow: /
Diese Zeilen bitten Roboter (Webcrawler), Ihre Seiten nicht zu indizieren. Es liegt jedoch ganz bei den Suchmaschinen, diese Anfrage anzunehmen oder zu ignorieren. Obwohl die meisten Suchmaschinen dies respektieren, kann eine Seite oder ein zufälliges Bild von Ihrer Website indiziert werden.
Wie stellen Sie sicher, dass Ihre Website nicht in den Suchergebnissen angezeigt wird?
Die Standardeinstellungen für die WordPress-Sichtbarkeit weisen Suchmaschinen an, Ihre Website nicht zu indizieren. Suchmaschinen können jedoch immer noch eine Seite, Datei oder ein Bild von Ihrer Website crawlen und indizieren.
Der einzige Weg, um sicherzustellen, dass Suchmaschinen Ihre Website überhaupt nicht indizieren oder crawlen, besteht darin, Ihre gesamte WordPress-Site auf Serverebene mit einem Kennwort zu schützen.
Wenn jemand versucht, auf Ihre Website zuzugreifen, wird er aufgefordert, einen Benutzernamen und ein Passwort anzugeben, noch bevor er WordPress erreicht. Dazu gehören auch Suchmaschinen. Bei einem Anmeldefehler wird der 401-Fehler angezeigt und die Bots wenden sich ab. So schützen Sie eine gesamte WordPress-Site mit einem Passwort.
Methode 1: Kennwortschutz einer gesamten Site mit cPanel
Wenn Ihr WordPress-Hosting-Anbieter cPanel-Zugriff zur Verwaltung Ihres Hosting-Kontos anbietet, können Sie Ihre gesamte Site mit cPanel schützen. Alles, was Sie tun müssen, ist sich in Ihrem cPanel-Dashboard anzumelden und dann auf das Symbol ‚Verzeichnisse mit Kennwort schützen‘ im Abschnitt ‚Sicherheit‘ zu klicken.
Als nächstes müssen Sie den Ordner auswählen, in dem Sie WordPress installiert haben. Normalerweise ist es der Ordner public_html.
Wenn Sie mehrere WordPress-Sites im Verzeichnis public_html installiert haben, müssen Sie auf das Ordnersymbol klicken, um den Ordner für die Website zu durchsuchen und auszuwählen, die Sie mit einem Kennwort schützen möchten.
Im nächsten Bildschirm müssen Sie einen Namen für das geschützte Verzeichnis eingeben und auf die Schaltfläche ‚Speichern‘ klicken.
Ihre Informationen werden gespeichert und cPanel lädt die Seite neu. Danach müssen Sie einen autorisierten Benutzer hinzufügen, indem Sie einen Benutzernamen und ein Kennwort eingeben.
Das ist alles, Sie haben Ihrer WordPress-Site erfolgreich einen Kennwortschutz hinzugefügt.
Jedes Mal, wenn ein Benutzer oder eine Suchmaschine Ihre Website besucht, werden sie aufgefordert, den Benutzernamen und das Kennwort einzugeben, die Sie zuvor erstellt haben, um die Website anzuzeigen.
Methode 2: Passwortschutz für WordPress mit einem Plugin
Wenn Sie eine verwaltete WordPress-Hosting-Lösung verwenden, haben Sie manchmal keinen Zugriff auf cPanel.
In diesem Fall haben Sie die Möglichkeit, verschiedene WordPress-Plugins zu verwenden, um Ihre Website mit einem Passwort zu schützen. Im Folgenden sind die beiden beliebtesten Lösungen:
- SeedProd – es ist das # 1 Coming Soon und Maintenance Mode Plugin für WordPress, das auf über 800.000 Websites verwendet wird. Es verfügt über vollständige Zugriffskontroll- und Berechtigungsfunktionen, mit denen Sie Ihre Website vor allen, einschließlich Suchmaschinen, verbergen können. Wir haben eine Schritt für Schritt Anleitung für SeedProd.
- Passwortgeschützt – Es ist eine sehr einfache Möglichkeit, Ihre WordPress-Site mit einem einzigen Passwort zu schützen (keine Benutzererstellung erforderlich). Lesen Sie unsere Schritt-für-Schritt-Anleitung zum Kennwortschutz einer WordPress-Site.
Wir hoffen, dass dieser Artikel Ihnen geholfen hat, Suchmaschinen daran zu hindern, Ihre WordPress-Site zu crawlen oder zu indizieren. Vielleicht möchten Sie auch unseren ultimativen Schritt-für-Schritt-WordPress-Sicherheitsleitfaden für Anfänger sehen.
Wenn Ihnen dieser Artikel gefallen hat, abonnieren Sie bitte unseren YouTube-Kanal für WordPress-Video-Tutorials. Sie finden uns auch auf Twitter und Facebook.