Archivos sitemap.xml y robots.txt

Un archivo sitemap es un archivo XML que contiene una lista de las páginas del sitio junto con alguna información adicional, tal como con qué frecuencia la página cambia sus contenidos, cuándo fue su última actualización, etc…

Puedes hacer el archivo en un editor o con un generador de archivos sitemap.xml.
Podemos utilizar esta herramienta online como https://www.xml-sitemaps.com/ para crear el archivo xml.

Una vez lo tengas es subirlo a la raíz de tu página web en el servidor por FTP o desde el panel de control del hosting web.

Un archivo robots.txt en un fichero de texto para que todos los buscadores pasen por las partes de tu web que quieras rastrear y cuales no.

Simplemente debes crear un documento con un editor de texto y nombrarlo como robots.txt. En su interior debes especificar las partes de tu web que no deseas que rastreen los buscadores a través de comandos.

Ejemplo 1

User-agent: Googlebot

Disallow: /nogooglebot/

El user-agent llamado “Googlebot” no debe rastrear la carpeta http://example.com/nogooglebot/ ni ninguno de sus subdirectorios.

Ejemplo 2

User-agent: *

Allow: /

El user-agent pueden acceder a todo el sitio web. Se podría haber omitido esta regla y el resultado habría sido el mismo, ya que de forma predeterminada se da acceso completo.

Una vez que lo hayas creado, como en el caso del sitemap, deberás subirlo a la raíz de tu web en tu hosting por FTP o desde el panel de control del hosting web.

Cualquier duda o consulta ponte en contacto conmigo para ayudarte o concretar mis servicios, aquí.