ist die Robots.txt wichtig für google?

[Gast]

Muss man die drin haben ider ist es ansich egal. Natürlich nur wenn nichts von der Seite ausgeschloßen werden soll.

[mithrandir]

Dere!

Guckst du hier:
http://www.google.com/webmasters/faq.html#robots

bye, mith

[Gast]

das beantwortet die frage in keiner form

[Gast]

das beantwortet die frage in keiner formrobots.txt ist ein Standarddokument, das Googlebot anweisen kann, keine oder nicht alle Informationen von Ihrem Webserver herunterzuladen. Informationen zum Erstellen einer robots.txt-Datei finden Sie unter The Robot Exclusion Standard (Englisch).

Was ist daran jetzt unverständlich?

[Windhalf]

Also man MUSS die nicht drin haben... Man KANN sie drin haben wenn man möchte, daß der Googlebot nur auf spezifische Daten zugreift.

Das ist dem obigen Link zu entnehmen denke ich.

Also auch hier gilt das alte Swinger-Club-Motto:

"Alles kann, nichts muss" :wink:

[Gast]

robots.txt ist ein Standarddokument, das Googlebot anweisen kann, keine oder nicht alle Informationen von Ihrem Webserver herunterzuladen. Informationen zum Erstellen einer robots.txt-Datei finden Sie unter The Robot Exclusion Standard (Englisch).

Was ist daran jetzt unverständlich?
Ihr habt schon die Frage gelesen oder?! WAS das teil macht war nicht gefragt das ist mir bekannt.

Die Frage war oib es da sein muss oder nicht. Ist lesen wirklich so schwer?!

[Gast]

Ihr habt schon die Frage gelesen oder?! WAS das teil macht war nicht gefragt das ist mir bekannt.

Die Frage war oib es da sein muss oder nicht. Ist lesen wirklich so schwer?!Willst du, dass Google keine oder nicht alle Informationen von deiner Webseite runterlädt (das Googlebot anweisen kann, keine oder nicht alle Informationen von Ihrem Webserver herunterzuladen.), dann brauchst du das, sonst nicht. Ist das wirklich soooo schwer zu verstehen?

[Black-Scorpion]

Man sollte aber wissen was alles zu seinem Webspace gehört.
Wer z.B. Zugriff auf die Logdateien hat sollte diesen Ordner in der Robots.txt auschließen.
Das gillt auch für das cgi-bin Verzeichnis wenn man Perl verwenden kann.
Das sind Ordner die Google eigentlich nichts angehen.

[darph]

Ihr habt schon die Frage gelesen oder?! WAS das teil macht war nicht gefragt das ist mir bekannt.

Die Frage war oib es da sein muss oder nicht. Ist lesen wirklich so schwer?!
robots.txt ist ein Standarddokument, das Googlebot anweisen kann, keine oder nicht alle Informationen von Ihrem Webserver herunterzuladen. Informationen zum Erstellen einer robots.txt-Datei finden Sie unter The Robot Exclusion Standard (Englisch).Steht doch da. ;( Ist lesen wirklich so schwer?!

Du brauchst die Datei nicht zwingend. Erst wenn du den Bots auch wirklich befehle geben willst, dann brauchst du sie.

[Gast]

Noch sclimmer: Du brauchst das alles erst dann wenn du dem Bot irgendetwas *verbieten* willst. Suchmaschinenbots haben eine einfache Regel: Was nicht explizit verboten wurde ist erlaubt, also einfach nirgendwo etwas anzugeben bedeutet "Alles ist erlaubt".