Někdy si nepřejeme ať Google indexuje naše stránky. Například z důvodů že se jedná o interní dokumenty (přesto že by měly být již ošetřeny heslem), nebo o placený obsah, nebo jenom že se jedná o část stránek, která je pro návštěvníka zbytečná. K tomuto slouží robots.txt nebo meta tagy, které popíšu příště. Obecně platí že, některá řešení se dají udělat jak robots.txt tak meta tagy.. Robot.txt má výhodů, že může řídit přístup Google v rámci jak celé domény, tak určitých typů stránek, nebo adresářů.
číst dál