Was ist robots.txt? Robots.txt ist ein Text (nicht html) Datei, die Sie auf Ihrer Website, um die Suche Roboter, die Seiten, die Sie mögen sie nicht besuchen möchten erzählen. Robots.txt ist keineswegs zwingend für Suchmaschinen, sondern allgemein SE gehorchen, was sie gefragt werden, nicht zu tun. Es ist wichtig, dass die robots.txt zu klären ist nicht ein Weg von der Verhinderung von SE Crawling Ihrer Website (dh es ist nicht eine Firewall oder eine Art Passwortschutz) und die Tatsache, dass Sie eine robots.txt-Datei setzen ist etwas, wie wenn man ein Hinweis "Bitte nicht eintreten", auf eine unverschlossene Tür - zB Sie können nicht verhindern, dass Diebe kommen in, aber die Guten nicht zu öffnen, und geben Sie. Das ist, warum wir sagen, dass, wenn Sie wirklich sensible Daten haben, ist es zu Kirchenschiff auf robots.txt verlassen, damit es nicht indiziert und in den Suchergebnissen angezeigt zu schützen. Die Lage robots.txt ist sehr wichtig. Es muss im Hauptverzeichnis sein, weil sonst User Agents (Suchmaschinen) nicht in der Lage, es zu FINDEN - sie müssen nicht die gesamte Website suchen nach einer Datei namens robots.txt. Stattdessen suchen sie im Hauptverzeichnis ersten und wenn sie es nicht FINDEN es, sie einfach davon ausgehen, dass diese Website nicht über eine robots.txt-Datei und damit sie alles, was sie FINDEN Index auf dem Weg. Also, wenn Sie nichts dagegen unternehmen robots.txt an der richtigen Stelle, nicht überrascht, dass Suchmaschinen-Index die gesamte Website werden.
Warum wird es verwendet? Es ist toll, wenn Suchmaschinen häufig Ihre Website besuchen und Index-Inhalte, aber oft gibt es Fälle, bei der Indexierung Teile des Online-Inhalten ist nicht das, was Sie wollen. wenn Sie sensible Daten auf Ihrer Website, dass Sie nicht wollen, dass die Welt zu sehen haben, geschehen, werden Sie auch bevorzugen, dass Suchmaschinen nicht Index diese Seiten (obwohl in diesem Fall der einzige sichere Weg für die Indizierung nicht sensiblen Daten ist es behalten offline auf einer separaten Maschine). Außerdem, wenn Sie etwas Bandbreite ohne Bilder, Stylesheets und JavaScript von der Indizierung speichern möchten, müssen Sie auch eine Möglichkeit, Spinnen sagen, um weg von diesen Artikel. Ein Weg, um Suchmaschinen, die Dateien und Ordner auf Ihrer Website zu sagen, zu vermeiden, ist mit dem Einsatz des Robots-Meta-Tag. Aber da nicht alle Suchmaschinen Meta-Tags zu lesen, können die Robots-Meta-Tag einfach unbemerkt. Eine bessere Möglichkeit, SE über deinen Willen zu informieren ist, eine robots.txt-Datei verwenden. Aufbau robot.txt: Der Aufbau einer robots.txt ist ziemlich einfach (und kaum flexibel) - es ist eine endlose Liste von User-Agents und verbotenen Dateien und Verzeichnisse. Grundsätzlich ist die Syntax wie folgt: User-agent: Disallow:
"User-agent:" Hier User Agents sind Suchmaschinen-Crawler und verbieten: listet die Dateien und Verzeichnisse von der Indizierung ausgeschlossen werden. Neben "user-agent:" und "verbieten:"-Einträge, können Sie Kommentarzeilen - einfach die #-Zeichen am Anfang der Zeile: # Alle User Agents sind nicht zulässig, um den / temp-Verzeichnis zu sehen. User-agent: * Disallow: / temp /
Infos Detektiv/ Detektive
Keine Kommentare:
Kommentar veröffentlichen