¿Que es googlebot?

Es un robot que utiliza Google para coleccionar documentos y con ello se puede crear una base de datos para el motor de búsqueda.Se utilizan gran numero de equipos informáticos para obtener millones de paginas y determina los sitios que hay que rastrear.