Jak używać Robots <meta /> tag?

Zamiast pliku robots.txt możesz użyć tagu <meta /> za pomocą którego możesz powiedzieć robotowi, czy ma nie indeksować tą podstronę i czy ma nie podążać za linkami na tej stronie.

<meta NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW" />

Linijkę tą wstawiasz w sekcji meta, każdej strony.

Co oznaczają te zapisy?
<meta NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW" />
Nie indeksuj tej podstrony, podążaj za linkami.

<meta NAME="ROBOTS" CONTENT="INDEX, NOFOLLOW" />
Indeksuj tą podstronę, nie podążaj za linkami.

<meta NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW" />
Nie indeksuj tej podstrony i nie podążaj za linkami.

Jeżeli nie wstawisz tagu <meta /> dla robotów to domyślne wartości to: INDEX,FOLLOW, czyli indeksuj i podążaj za linkami.