Robot, Crawler, Spider
Ein Robot (auch Crawler, Webcrawler oder Spider genannt) ist ein Programm, welches automatisch das World Wide Web (www) durchsucht und die Informationen auf Webseiten analysiert. Robots werden überwiegend von Suchmaschinen verwendet, um den Inhalt der gefundenen Webseiten mittels Indexierung auszuwerten, zu speichern und so ein späteres Suchen zu ermöglichen.