Cum sa evitam indexarea unei pagini web
Daca doriti sa preveniti indexarea unei anumite pagini web a site-ului dumneavoastra (sau a mai multor pagini din interiorul site-ului), atunci puneti urmatorul tag META in pagina respectiva, si in acest fel nici un robot nu va mai indexa acesta pagina:<html>
<head>
<meta name="robots" content="noindex,nofollow">
<meta name="description" content="This page ....">
<title>...</title>
</head>
<body> ... Continutul META tag-ului contine mai multe directive separate prin virgula. Directivele definite in acest caz sunt: [NO]INDEX si [NO]FOLLOW. Directiva INDEX specifica robotului ca trebuie sa indexeze pagina, cealalta directiva, FOLLOW, ii spune robotului ca poate sa urmeze link-urile din pagina respectiva. Setarile de baza sunt INDEX si FOLLOW. Valorile ALL si NONE seteaza toate directivele on sau off: ALL=INDEX,FOLLOW si NONE=NOINDEX,NOFOLLOW. Iata cateva exemple:
<meta name="robots" content="index,follow">
<meta name="robots" content="noindex,follow">
<meta name="robots" content="index,nofollow">
<meta name="robots" content="noindex,nofollow">
Observatie: numele "robots" din tag, precum si continutul sunt case insensitive(nu se face diferenta dintre majuscule si celelalte).Sa nu se foloseasca constructii gresite, ca de exemplu:
<meta name="robots" content="INDEX,NOINDEX,NOFOLLOW,FOLLOW,FOLLOW"> Daca doriti ca alti roboti sa indexeze pagina, dar sa nu-i permiteti Googlebot-ului sa o indexeze atunci folositi urmatorul tag: