Dos frases celebres le ponen un prologo a esta anécdota que voy a contarles hoy.
Alexander Pope:
Errar es humano, perdonar es divino.
Jonathan Swift
Un hombre nunca debe avergonzarse por reconocer que se equivocó, que es tanto como decir que hoy es más sabio de lo que fue ayer.
Y si, me equivoque y lo admito.
Todo empezó cuando un amigo me pidió una mano con su sitio web. Según me contaba, estaba utilizando un ancho de banda diario muy alto y muy cerca del límite mensual que tenia contratado. Esto le podía generar una caída de su sitio online y por ende una perdida importante de visitas y ganancias.
Lo primero que hice fue estudiar el código de su sitio. A primera vista, sin bien se podían optimizar algunas cosas, estaba bien estructurado y con pocas imágenes. La carga del Index analizada con esta herramienta de Pingdom no me pareció excesivamente lenta ni pesada, eran 78 kbs que se cargaban en aproximadamente 3.4 segundos.
Después de pedirle acceso a sus estadísticas para poder analizarlas, no encontré nada que puntualmente me diera algún indicio de un cambio importante. El crecimiento de sus visitas y páginas vistas, estaba acompañado de un aumento normal del uso de su ancho de banda.
Tenia bien optimizado su archivo .htaccess, algo de lo que hablaremos mas adelante en otro nota, para restringir el “hotlinking” desde otras webs. Esto no es 100% efectivo y lo ideal seria para sitios que usen Wordpress, que salga algún plugin que lo haga en forma automática. Los que probé no funcionaron bien, así que si sabes de alguno, avísame en los comentarios.
Todo bien hasta que busque su archivo robots.txt. Para mi sorpresa no tenía uno, por lo tanto, lo primero que le sugerí fue incorporar uno urgentemente, restringiendo el acceso a algunos directorios y diciéndole a algunos spiders indeseables que bajen su frecuencia de visita o directamente negándoles el acceso.
Le arme el archivo robots.txt y se lo subí a su servidor.
Para mí, tarea cumplida.
A las 2 semanas lo tenia desesperado al teléfono, porque las visitas habían disminuido en más del 80%. Se quería matar…y yo también cuando descubrí mi error.
Revisando el robots.xtx, encontré esto:
..........
User-agent: Mediapartners-Google*
Disallow:
User-agent: *
Disallow: /
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
User-agent: MSIECrawlerDisallow: /Ese disallow: / que quedo por error, bloqueo por completo el acceso a su blog, por lo que GoogleBot no pudo acceder al mismo, y desindexo todas sus páginas de Google.
No hace falta explicar porque perdió el 80 % de las visitas diarias. Después de corregirle el archivos robots.txt, Google tardo un par de días en reindexar todo el sitio y mi amigo termino pagando unos Gigas extra de ancho de banda, cosa que le salio más barato que mi “error/horror”.
Si no quieres que te pase lo mismo, cada vez que hagas un cambio, revisa todo 3 veces y comprueba que el bot de Google tiene el acceso permitido a tus sitios. Esto lo puedes hacer fácilmente desde el panel de las Herramientas para Webmasters de Google, ingresando en:
Herramientas -> Análisis de robots.txt -> Seleccione “user-agents” -> Comprobar
Tuviste algún problema similar, comparte tus experiencias con nosotros.
Puedes dejar tus comentarios aqui
Jeje muy bueno… yo siempre estuve batallando entre indexar mis categorias o no hacerlo. Ahora he caido en la cuenta que dependiendo del sitio web lo hago o no, ya que habra unos sitios en los que la categoria es algo burda o poco buscada, mientras que en otros como videos de +++, puede ser util y no aparenta ser tan dificil su posicionamiento. Saludos!