Errores 404 raros en Search Console (Spoofing?)
Desde hace algún tiempo, siempre que revisábamos Search Console para un cliente, nos encontrábamos un frucutún de errores 404 de URLs que nunca habían pertenecido a ese blog, entre otras cosas porque esos permalinks eran en inglés y mi cliente (el del blog), escribe en castellano. Así que nos pusimos en marcha!
Errores 404 Raros
Hicimos un check list de posible malware o scripts que afectaran al blog, revisamos todos los archivos, uno por uno hasta la saciedad (menos mal que era una web pequeña!) Cambiamos temas, purgamos plugins y aseguramos el blog con otros plugins de seguridad como wordfence y algunos más…. Y la dejamos bien, finita… finita.
Pero… seguían saliendo más y más URLs con Error 404, permalinks que no encuentra ni podia encontrar el robotito de google cuando pasa, porque nunca han existido, o si existieron fué hace mas de 2 años cuando la web no tenia mantenimiento y pudo haber pasado. Peroo… 2 años de caché en un buscador?
Desratización Desinsectación y Desindexación
Os digo esto por que cuando aceptamos el proyecto nos aseguramos de eliminar todos los errores y desindexar (de Google, claro) todas las URLs no relevantes para el SEO de esa página web.
Así que 2 años no creo, porque esos bots van pasando todos los días y sabemos cuando y cómo ya que lo lógico es que nosotros los controlemos.
Entonces fijándonos bien en esos los logs del servidor nos dimos cuenta que esas URL’s las visita el «robotitus» de MOZ… Piensas, que raro no? MOooOZ?
(En la foto salen como redirecciones 301 porque bloqueamos el bot hacia la home del dominio, a ver que pasaba)
Bueno pues si lees por ahí, vas a ver que su bot es maaalo, todo un BAD BOT (¿MoZ Motherf****ers?) No sé, no creo… ¿No?
Juzga tu mismo pero antes mirate el link de distilnetworks https://www.distilnetworks.com/bot-directory/bot/dotbot1-1/
El Bueno el Feo y el Malo
El caso es que bloqueamos el acceso a ese bot, porque seguramente a nuestro cliente le habían hecho spoofing desde otros dominios, agregando esas URLs y buscándolas a través de algunas de esas herramientas para espiar a las webs vecinas. Por eso el robot de Moz pasaba a «buscarlas». También lo bloqueamos porque que existía gran probabilidad que ese sitio lo acabara penalizando Google por Cloaking.
¿Ahora te encaja por que tu web no posiciona mejor? Ahí la dejo…
Después, nos atrevimos a bloquear todos los bots de las herramientas que utilizan/ -n +mos los SEO Masters del universo para husmear en los sites… Llámense Majestic, Ahrefs, Semrush, DotBot, JohnDoeBot SPMBot y toda la «pesca»… Sin olvidarnos por descontado de cerrarle la puerta a toda una gran lista de robots arteros, que vienen desde China, Rusia, Romania, Turquia, Kazajistán, Chiquitistán etc
(El bueno, google, como no. El feo seria Moz y todos los que espían tu web y el malo son todos los últimos y algunos más)
Rendimiento y Posicionamiento
Cuando lees buenos artículos de gente que sabe, muchos coinciden que tánto tráfico de bots husmeadores, retrasa el tiempo del servidor en responder a TUS visitantes y matemáticamente pierdes visitas, tanto por velocidad de carga, el servidor carga más lento cuando hay innumerables bots que visitan tus sitios y abren procesos, varias veces por minuto.
Como también por sobrecarga de tu servidor web (esos procesos abiertos consumen recursos) -Si, incluso con Nginx- y el rendimiento para la UX (Experiencia de Usuario) de tus visitantes es mas lento que si les cerrases la puerta en la cara.
Aquí no entras más p*** bot!
Asi que vete pensando si quieres que esos robots entren en tu sitio web, ya que está demostrado que no te van a servir nada para posicionarte, y también esta demostrado que sólo sirven para que te husmeen (que mal suena «us meen» xD)) en tu sitio web, robándote recursos y brindando información a tus competidores.
El posicionamiento, de momento bastante bien, gracias a eso tenemos más Crawl Budget de Google, (no me preguntes porqué) y hemos comprobado que busca e indexa artículos que antes no buscaba, por algo.
The Shift
Curiosamente después de aplicar esos cambios, esos errores 404 raros han desaparecido y en otros sites han bajado considerablemente y hemos decidido (nosotros y el cliente) a mantenerlo así, no queremos badbots! Queremos Goodleads!
A fin de cuentas el SEO va a ir teniendo que cambiar de nombre, yo digo siempre que no es SEO es GO, no es Search Engine Optimizer, es Google Optimizer, que no te vacilen, porqueee tu quieres salir en la primera página de Google, no? O mejor de nublalavista.box.sk ? 🙂
Bueno, si estáis interesados dejad un comentario y os agregaré lo que hicimos para deshacernos de todos ellos de una vez. Sobra decir que si te interesa que revisemos tu sitio, porque no tienes mucho tiempo o no sabes como hacerlo, nos contactes y lo miramos.