robots.txt öfter genutzt von Angreifern, als von Suchmaschinen

Jeder Kunde, der Internet-Seiten speichert, möchte schon gerne, daß alle möglichen Suchmaschinen, wie Google, Yahoo, Altavista etc. gerne alle Seiten im Suchmaschinen-Index aufnimmt. Einige Seiten dagegen, sollen jedoch den Suchmaschinen nicht zugänglich gemacht werden und so wurde in der Vergangenheit oft empfohlen, im Hauptverzeichnis, wo sich auch die Home-(Einstieg-Seite) befindet, eine robots.txt anzulegen.

Immer mehr Angreifer aus allen Ländern, nutzen die Informationen dieser Datei negativ aus, denn oft erkennen sie gerade daran, an nur wenigen Bytes, wo und welche Programme installiert sind und nutzen dann im nächsten Schritt, alle Crack-Utillites, um in die installierten Programme (php-Dateien) etc. hinein zu gelangen.

Die Informationen, die durch Hintertürchen, z.B. php-Programme, die falsch programmiert sind, z.B. Bugs enthalten, ermöglichen Zugriffe über das Programm in den SQL-Server (z.B. MySql, Postgre etc) und so kommen diese Cracker, z.B. auch an Kunden-Daten, Mail-Adressen etc.

Ein Programm z.B. bot eine quasi Online-Dateimanager auf php - Basis an, mit der man schön durch alle Bereiche des Webspace spazieren konnte und sogar Dateien via open laden und anzeigen konnte. Somit wurde solche php-Programme nicht mehr vom Apache-Server, wie sonst üblich ausgewertet, sondern zeigten den Inhalt aller php-Dateien, in denen sich auch wiederrum Zugangsdaten zu anderen Rechnern, Datenbanken (z.B. localhost, username, password, datenbank) befanden, um damit eigentlich von php zu mysql correct arbeiten zu können.

Kommen diese Daten wie gesagt falsche Hände, werden unter Umständen immer größere Türen geöffnet, z.B. die Nutzung eines php-Programmes, um Spam-Mails zu versenden oder das Auslesen von Kundendaten oder auch weil Admin faul war und überall die gleichen Kennwörter verwendet hat, die Userdaten und Passwörter für weitere Systeme.

Also Hände weg von robots.txt

Schützen kann man sich, damit spezielle html-Dateien nicht in Suchmaschinen aufgenommen werden, in denen man in diesen Seiten z.B. folgenden Meta-Tag einfügt. Noindex bedeutet nicht aufnehmen in Index und nofollow, daß alle nachfolgenden Links, die auf die Seite gefunden werden, nicht weiter betrachtet werden. Befinden sich jedoch auf dieser Seite bereits Links, die auch auf anderen Seiten vorhanden sind und auch normal indiziert werden, so werden die verlinkten Seiten aufgrund der anderen Seiten im Suchmaschinen-Index aufgenommen.

Code:

Detlef
http://www.1awww.com