No obstante, si deseamos gestionar los procesos de indexación de nuestros archivos, recursos y nuestra web o secciones de esta en general, la mejor manera puede ser a partir de la inclusión de directivas o etiquetas “noindex”.

• ¿Para qué nos sirve un archivo Robots.txt?

  Fundamentalmente los archivos robots.txt nos ayudan a gestionar el tráfico de los rastreadores hacia nuestro sitio web. Pero ¿cómo podemos usar el archivo robots.txt para gestionar el proceso de rastreo de nuestra web y de todos los archivos en ella incluidos?
  1. En el caso de ser html, pdf u otros formatos que puedan forma a nuestras webs, y los contenidos en ella mostrados, los archivos robots.txt nos ayudarán a gestionar los procesos de rastreo de los buscadores. Ahora bien, no es una práctica recomendada usar robots.txt para llevar a cabo la ocultación de sitios webs y que estos no se muestren en los resultados de búsqueda de los diferentes buscadores.
  2. Archivos multimedia.
     Un archivo robots.txt no sirve, como ya hemos comentado, para gestionar el tráfico de los robots en nuestro sitio web. Dentro de la propia gestión, se incluye la de los archivos de imagen, vídeo y audio, pudiendo evitar que estos aparezcan en los resultados de búsqueda de los buscadores.
  3. Archivos de recursos.
     Robots.txt puede bloquear los archivos de recursos (secuencias de comandos, estilos…) Ojo en este punto, debemos estar seguros que prescindir de estos recursos no afectará de forma relevante a todos aquellas páginas que se tengan que cargar sin dichos recursos. Ante cualquier duda, es mejor evitar el bloqueo de los mismos.

Ahora ya sabes algo más de los archivos robots.txt, qué son y para qué sirven. Es el momento de saber algo más sobre ellos ¿Te apuntas?