Un robot est un logiciel qui parcours les sites web, pour le compte des moteurs de recherche, tel Google, Yahoo et Bing.

Son but est d'explorer le contenu des sites, pour fournir des informations les concernant (les contenus des pages des sites) aux moteurs de recherche, afin que ces informations (et les pages des sites où elles figurent) puisse être fournies dans les pages de résultats de recherche.