Was ist robots.txt? Robots.txt ist ein Text (nicht html) Datei, die Sie auf Ihrer Website, um die Suche Roboter, die Seiten, die Sie mögen sie nicht zu besuchen sagen würde. Robots.txt ist keineswegs zwingend für Suchmaschinen, sondern in der Regel SE gehorchen, was sie gefragt werden, es nicht zu tun. Es ist wichtig, dass die robots.txt zu klären ist nicht ein Weg von der Verhinderung SE vom Crawlen Ihrer Website (dh es ist nicht eine Firewall, oder eine Art von Passwort-Schutz) und die Tatsache, dass Sie eine robots.txt-Datei gesetzt ist so etwas wie Putting ein Hinweis "Bitte nicht eintreten" auf eine unverschlossene Tür - zB Sie können nicht verhindern, dass Diebe kommen in, aber die Guten nicht zu öffnen, und geben Sie. Deshalb sagen wir, dass, wenn Sie wirklich sensible Daten haben, es ist zu Schiff auf robots.txt verlassen, damit sie nicht indiziert und in den Suchergebnissen angezeigt zu schützen. Die Lage des robots.txt ist sehr wichtig. Es muss im Hauptverzeichnis sein, weil sonst User Agents (Suchmaschinen) nicht in der Lage, es zu FINDEN - sie suche nicht die gesamte Website nach einer Datei namens robots.txt. Stattdessen sehen sie im Hauptverzeichnis ersten und wenn sie es nicht FINDEN da, sie einfach davon ausgehen, dass diese Website nicht über eine robots.txt-Datei und deshalb index alles, was sie FINDEN, auf dem Weg. Also, wenn Sie nichts dagegen unternehmen, robots.txt an der richtigen Stelle, nicht überrascht, dass Suchmaschinen-Index Ihre gesamte Website werden.
Warum wird es verwendet? Es ist toll, wenn Suchmaschinen häufig Ihre Website besuchen und Index Ihr Inhalt aber oft gibt es Fälle, bei der Indexierung Teile des Online-Inhalte ist nicht, was Sie wollen. wenn Sie sensible Daten auf Ihrer Website, dass Sie nicht wollen, dass die Welt zu sehen haben passieren, werden Sie auch bevorzugen, dass Suchmaschinen nicht index diese Seiten (obwohl in diesem Fall die einzig sichere Weg für nicht indiziert sensible Daten zu behalten offline auf einem separaten Rechner). Außerdem, wenn Sie etwas Bandbreite durch den Ausschluss Bilder, Stylesheets und Javascript von der Indizierung speichern möchten, müssen Sie auch einen Weg, um Spinnen zu sagen fern zu halten aus diesen Positionen. Ein Weg, um Suchmaschinen, welche Dateien und Ordner auf Ihrer Website zu sagen, zu vermeiden, ist mit dem Einsatz der Roboter Meta-Tag. Aber da nicht alle Suchmaschinen Meta-Tags zu lesen, kann der Roboter Meta-Tag einfach unbemerkt. Eine bessere Möglichkeit, SE über deinen Willen zu informieren, ist eine robots.txt-Datei verwenden. Struktur robot.txt: Der Aufbau einer robots.txt ist recht einfach (und kaum flexible) - es ist eine endlose Liste von User-Agents und verbotenen Dateien und Verzeichnissen. Grundsätzlich ist die Syntax wie folgt: User-agent: Disallow:
"User-agent:" Hier User Agents sind Suchmaschinen-Crawler und verbieten: listet die Dateien und Verzeichnisse von der Indizierung ausgeschlossen werden. Zusätzlich zu "user-agent:" und "disallow:" Einträge, können Sie Kommentarzeilen - einfach die #-Zeichen am Anfang der Zeile: # Alle User Agents sind nicht zulässig, um den / temp-Verzeichnis zu sehen. User-agent: * Disallow: / temp /
Finden sie hier mehr zu Detektiv Hamburg
Keine Kommentare:
Kommentar veröffentlichen