User Agent

Webbrowser, Email-Programme, Newsreader, IRC-Clients und Suchmaschinen Robots fallen unter die Bezeichnung User Agents. Es sind Client-Programme, die als Schnittstelle zum Benutzer für diverse Netzwerkdienste genutzt werden. Die User Agents übertragen bei Anfragen Ihre Kennung, die meist auf einem Name und Versionsnummer besteht, in den Header-Zeilen an den Server.

Mozilla/2.0 (compatible; MSIE 3.0; Windows 95)

Mozilla/4.0 (compatible; MSIE 5.0; Windows 98) Opera 5.12 [[de]]

Mozilla/5.0 (compatible; Konqueror/3.2; Linux) KHTML, like Gecko)

Googlebot/2.1 (+http://www.googlebot.com/bot.html)

MSN bot: msnbot/0.11 (+http://search.msn.com/msnbot.htm) 

In der Robots.txt einer Website können Suchmaschinen Robots durch Angabe des User Agents gezielt gesteuert werden.