Crawler

Ein Crawler ist ein Programm oder Tool, auch Robots oder Spider genannt, das die Inhalte einer Homepage durchsucht, analysiert und diese Webinhalte richtig in einer Datenbank einordnet.

Der Crawler durchsucht eigenständig Webseiten

Der Crawler kommt nach einiger Zeit wieder auf die Website und sieht nach, ob sich etwas geändert hat oder neuer Content hinzugefügt wurde.

Erfahrungsgemäß ist es sinnvoll, den Content regelmäßig und in nicht zu langen Abständen zu ändern oder neuen Content hinzufügen.

Im Regelfall kommt der Crawler öfter, wenn die Webinhalte öfter aktualisiert wurde.

Ein Web Crawler wird vorwiegend von Suchmaschinen benutzt

Wie im Internet folgt der Crawler den Hyperlinks und sieht sich die gefundenen Webinhalte an. Natürlich nur im übertragenem Sinne, denn der Crawler kann ja nur den Quelltext einer Internetseite durchsuchen. Deshalb ist es auch ratsam, beispielsweise für Bilder den alt Tag oder die Überschriften Hierarchie zu benützen.