Re: Crawler lesen Verzeichnisse aus
GNU/Linux-Forum Geschrieben von Hans-Martin am 19. April 2008 14:35:34:
Als Antwort auf: Crawler lesen Verzeichnisse aus geschrieben von Ralph am 17. April 2008 23:29:38:
Hallo Ralph,
wie sieht Deine Datei robots.txt aus? Mit der steuerst Du, was Suchmaschinen zu lesen bekommen.
Gruß
Hans-Martin
>Auf alexa.com sind einige Dateien von meinem Server gelistet, die garantiert nirgendwo verlinkt sind, und im Unterverzeichnis mit dem Namen "ralph_self_0907" liegen.
>Wie kann das sein, dass solche Dateien gesichtet werden? Da muss ja irgendwie das Verzeichnis ausgelesen worden sein, und dann noch die Dateien. Wie geht das??
>Bin empört.
>Werd mir jetzt alles mit .htaccess zumauern. Ende aus.
>Ralph
GNU/Linux-Forum