Hoe te voorkomen dat zoekmachines een WordPress Site crawlen
onlangs vroeg een van onze gebruikers ons hoe ze kunnen voorkomen dat zoekmachines hun WordPress site crawlen en indexeren? Er zijn veel scenario ‘ s wanneer u zou willen stoppen met zoekmachines van het kruipen van uw website of een vermelding in de zoekresultaten. In dit artikel laten we u zien hoe u zoekmachines kunt stoppen met het crawlen van een WordPress site.
waarom en wie zou willen stoppen met zoekmachines
voor de meeste websites zijn zoekmachines de grootste bron van verkeer. U kunt zich afvragen, waarom zou iemand willen zoekmachines blokkeren?
bij het opstarten weten veel mensen niet hoe ze een lokale ontwikkelomgeving of een staging site moeten creëren. Als u uw website live ontwikkelt op een publiek toegankelijke domeinnaam, dan wilt u waarschijnlijk niet dat Google uw pagina in aanbouw of onderhoudsmodus indexeert.
er zijn ook veel mensen die WordPress gebruiken om privéblogs te maken, en ze willen deze niet geïndexeerd in zoekresultaten omdat ze privé zijn.
ook gebruiken sommige mensen WordPress voor projectbeheer of intranet, en u zou niet willen dat uw interne documenten openbaar toegankelijk zijn.
in alle bovenstaande situaties wilt u waarschijnlijk niet dat zoekmachines uw website indexeren.
een veel voorkomende misvatting is dat als ik geen links naar mijn domein heb, zoekmachines mijn website waarschijnlijk nooit zullen vinden. Dit is niet helemaal waar.
er zijn vele manieren waarop zoekmachines een elders gelinkte website kunnen vinden. Bijvoorbeeld::
- uw domeinnaam kan eerder eigendom zijn geweest van iemand anders, en ze hebben nog steeds een aantal links naar uw website nu.
- de resultaten van sommige domeinzoeksites kunnen worden geïndexeerd met uw link erop.
- er zijn letterlijk duizenden pagina ’s met slechts een lijst met domeinnamen, uw site kan op een van die pagina’ s verschijnen.
er gebeuren veel dingen op het web en de meeste zijn niet onder uw controle. Uw website is echter nog steeds onder uw controle en u kunt zoekmachines instrueren om uw website niet te indexeren of te volgen.
Video Tutorial
als u de video niet leuk vindt of meer instructies nodig hebt, lees dan verder.
het blokkeren van zoekmachines voor het crawlen en indexeren van uw WordPress Site
WordPress wordt geleverd met een ingebouwde functie waarmee u zoekmachines kunt instrueren uw site niet te indexeren. Het enige wat u hoeft te doen is Bezoeken Instellingen ” lezen en vink het vakje naast zoekmachine zichtbaarheid optie.
wanneer dit vakje is aangevinkt, voegt WordPress deze regel toe aan de header van uw website:
<meta name='robots' content='noindex,follow' />
WordPress wijzigt ook uw site robots.txt-bestand en voeg deze regels toe:
User-agent: *Disallow: /
deze regels vragen robots (web crawlers) om uw pagina ‘ s niet te indexeren. Het is echter volledig aan zoekmachines om dit verzoek te accepteren of te negeren. Hoewel de meeste zoekmachines respecteren dit, sommige pagina of willekeurige afbeelding van uw site kan krijgen geïndexeerd.
Hoe zorg je ervoor dat je Site niet in de zoekresultaten verschijnt?
de standaard WordPress zichtbaarheidsinstellingen instrueren zoekmachines om uw website niet te indexeren. Echter, zoekmachines kunnen nog steeds eindigen crawlen en indexeren van een pagina, bestand, of afbeelding van uw website.
de enige manier om ervoor te zorgen dat zoekmachines uw website helemaal niet indexeren of crawlen is door uw volledige WordPress site met een wachtwoord te beschermen op serverniveau.
dit betekent dat wanneer iemand toegang probeert te krijgen tot uw website, hij of zij gevraagd wordt om een gebruikersnaam en wachtwoord op te geven zelfs voordat hij of zij WordPress bereikt. Dit geldt ook voor zoekmachines. Bij het inloggen fout, ze worden weergegeven 401 fout en de bots weg te draaien. Hier is hoe om een wachtwoord te beveiligen een hele WordPress site.
Methode 1: Wachtwoord beveiligen van een hele Site met behulp van cPanel
als uw WordPress hosting provider cPanel toegang biedt om uw hosting account te beheren, dan kunt u uw hele site beschermen met behulp van cPanel. Het enige wat u hoeft te doen is inloggen op uw cPanel dashboard en klik vervolgens op ‘Password Protect Directory’ icoon onder de ‘Security’ sectie.
vervolgens moet u de map kiezen waarin u WordPress hebt geïnstalleerd. Meestal is het de public_html map.
als u meerdere WordPress-sites hebt geà nstalleerd onder public_html-map, dan moet u op het mappictogram klikken om te bladeren en de map selecteren voor de website die u wilt beveiligen met een wachtwoord.
op het volgende scherm moet u een naam voor de beveiligde map invoeren en op de knop ‘Opslaan’ klikken.
uw gegevens worden opgeslagen en cPanel zal de pagina herladen. Daarna, je nodig hebt om een geautoriseerde gebruiker toe te voegen door het invoeren van een gebruikersnaam en wachtwoord.
toe dat is alles, u hebt met succes wachtwoordbeveiliging toegevoegd aan uw WordPress site.
wanneer een gebruiker of zoekmachine uw website bezoekt, wordt hem gevraagd de gebruikersnaam en het wachtwoord in te voeren die u eerder hebt gemaakt om de site te bekijken.
Methode 2: wachtwoord beveiligen WordPress met een Plugin
Als u een beheerde WordPress hosting oplossing gebruikt, heeft u soms geen toegang tot cPanel.
in dat geval heeft u de mogelijkheid om verschillende WordPress plugins te gebruiken om uw website met een wachtwoord te beveiligen. Hieronder zijn de twee meest populaire oplossingen:
- SeedProd-het is de # 1 binnenkort en onderhoudsmodus plugin voor WordPress, gebruikt op meer dan 800.000 + websites. Het wordt geleverd met volledige toegangscontrole en machtigingen functies die u kunt gebruiken om uw website te verbergen voor iedereen, met inbegrip van zoekmachines. We hebben een stap voor stap handleiding voor SeedProd.
- Password Protected-het is een zeer eenvoudige manier om een wachtwoord te beschermen uw WordPress site met een enkel wachtwoord (geen gebruiker creatie nodig). Zie onze stap voor stap handleiding over hoe je een WordPress site te beveiligen met een wachtwoord.
we hopen dat dit artikel u heeft geholpen om te voorkomen dat zoekmachines uw WordPress site crawlen of indexeren. U kunt ook onze ultieme stap voor stap WordPress security gids voor beginners te zien.
als u dit artikel leuk vond, abonneer u dan op ons YouTube-kanaal voor WordPress video tutorials. U kunt ons ook vinden op Twitter en Facebook.