Il Robots Exclusion Protocol (REP) è fondamentalmente una funzione di web parser che i webmaster possono usare per mantenere parte dei loro siti fuori dalla vista del motore di ricerca di Google. Adesso, Big G ha deciso di rendere il protocollo uno standard, svelando dunque come effettua le procedure di scansione della rete.