User-agent: * # alle nicht namentlich genannten Spider Disallow: /css/ # alle Seiten in /css/ sind gesperrt Disallow: /logs/ # /logs/ ist ebenfalls gesperrt Disallow: /phps/ # hier darf niemand rein Disallow: /docs/ # /docs/ ist ebenfalls gesperrt