Cómo generar ideas de contenido con Screaming Frog

• Por qué Screaming Frog
• Qué necesitaremos
• La idea detrás de la estrategia
• Identificar los objetivos
• Configurar Screaming Frog
• Utilizando la extensión Scraper
• Solucionar URLS sin texto de extracción
• Filtros de exclusión
• Analizando los resultados
• Utilizando Tagcrowd
• Usando Excel
• En un final…

Por qué Screaming Frog

Como habrás deducido del título del artículo, nuestro as debajo de la manga es Screaming Frog, un crawler que simula a un bot de búsqueda centrado en el SEOque inspecciona sitios webs y extrae elementos claves para analizar y auditar los entresijos de estos sitios. Es potente y flexible y puede ser integrado con Google Analytics, Search Console o Ahrefs, entre otras herramientas, lo que lo convierte con un poco de configuración en la herramienta principal de nuestra estrategia para encontrar ideas nuevas de contenido.

Qué necesitaremos

Entonces, para nuestro propósito vamos a emplear:

• Screaming Frog: pero la versión gratuita no es suficiente. Tenemos que adquirir una licencia, para poder emplear las potencialidades que necesitaremos en nuestra búsqueda. Es relativamente barato, alrededor de 150USD por año (poco más de 130 euros), y esto nos permite sacarle el máximo de provecho. Como plus, hay muchos tutoriales de como configurarlo y usarlo de formas muy creativas, así que es una muy buena inversión. Yo personalmente os recomiendo seguir al monstruo del SEO, Luisma Villanueva del que tengo la suerte de que sea mi jefe, y a MJ. Cachón, que admiro enormemente sus conocimientos en SEO. Ambos, controlan a la perfección Screaming Frog, y con ellos, al igual que he hecho yo, podrás aprender mucho.
• Una cuenta de Google AdWords: si no la tenemos ya, pues no es mala idea empezar. Aún si no la tenemos podemos utilizar sus herramientas de forma gratuita, aunque el proceso se hace un poco engorroso.
• Un software para procesar datos, como Excel o Google Drive: Es solo una herramienta de cálculo para procesar la información recopilada fuera del Screaming Frog. Cualquiera servirá: no tienen que ser estas dos por fuerza.
• Un navegador web: Por motivos de integración, vamos a emplear Google Chrome.

La idea detrás de la estrategia

Para agregar datos sobre lo que el público habla al contenido de nuestro sitio hay varios caminos. Uno de ellos es las búsquedas, pero esta vía no es tan actualizada como observar de lo que se habla en tiempo real, y de las herramientas SEO disponible esta información es difícil de extraer de forma directa y sencilla. Identificar la intención requiere mucha investigación y esta tampoco es fácil de obtener de las redes sociales, para las que sí hay herramientas pero su coste es muy alto.

A través de esta estrategia usando Screaming Frog se pueden obtener cientos de temas que te servirán como ideas para generar contenido sobre temas específicos, palabras claves largas, preguntas de tu audiencia y mucho más, todo esto en unos 20 minutos de trabajo. Esto se logra rastreando las discusiones de tu audiencia en foros, sitios de preguntas y respuestas, blogs y otros sitios.

El procedimiento en sí consiste en:

Identificar los objetivos

El primer paso es identificar dónde tu audiencia está conversando de los temas que buscas incorporar y que tienen que ver con tu área de actividad. Puede que ya los conozcas e incluso participes en estas conversaciones, pero siempre es útil ampliar esta lista con otros sitios que tengan que ver con el segmento de audiencia en el que quieres incidir. Para explicar el proceso nos centraremos en el segmento de Hogar y jardín, pero es aplicable a cualquier otra área del mercado.

Para ello, puedes utilizar Display Planner de Google Adwords: se buscan opciones ingresando palabras claves relacionadas con nuestra área de interés, en nuestro caso, “jardinería”.

Se seleccionan entonces las «ideas de focalización individual» del menú y después «sitios». Obtenemos entonces un grupo de sitios específicos que Google ha clasificado en coincidencia con nuestros parámetros de segmentación. También existe el footprint “related:” que te ofrece páginas similares al dominio que sugieras.

Se selecciona entonces un resultado de los mejores para ver mucha información relacionada con este sitio, que incluye datos demográficos y temas centrales. Usando esta información se podría acotar mucho mejor los resultados utilizando la opción de «Orientación de campaña», pero a nuestros efectos es suficiente de momento.

Configurar Screaming Frog

Se toma el URL del sitio web escogido y se abre en Chrome. Ya en el sitio, confirmamos que en él se realiza una discusión sobre nuestro tema particular. Busca en los foros, los tableros de mensajes, las secciones de comentarios sobre artículos, etc.: si se está hablando de jardinería, no es importante donde se haga a nuestros efectos. Con un vistazo rápido a los nombres de los hilos puedes saber si hay muchas preguntas sobre el tema. Aquí no hay un criterio fijo, pero se puede confiar bastante en lo que nos ofrece el Display Planner.

Hora entonces de configurar Screaming Frog. Utilizamos la función «Extracción personalizada» (Configuración → Personalizada → Extraction) en Screaming Frog. Esta nos permite capturar un texto específico de un conjunto de páginas, así que seguimos configurando los parámetros de extracción.

Se abre la configuración de extracción personalizada y se configura el primer extractor en XPath. Cuando se necesiten capturar varios títulos de hilos en la misma URL se puede cortar y pegar el código en los siguientes extractores. Solo asegúrate de actualizar la secuencia numérica al final, para evitar usar la misma información una y otra vez.

Nota también que hemos establecido en el ejemplo el tipo de extracción para «extraer texto», que suele ser la vía más fácil de obtener la información que necesitas. Puede que necesites obtener también diferentes partes del HTML, lo que lleva un poco de prueba y error. Te invitamos a probar otras opciones y comparar los resultados, pero sigamos adelante por el momento.

Para tomar el código de extracción real que necesitamos, en Chrome hacemos clic derecho en el enlace a capturar y seleccionamos «inspeccionar» o «inspeccionar elemento».

Asegúrese de ver el texto que desea resaltar en la vista de código, luego haga clic con el botón derecho y seleccione «XPath» (puede usar otras opciones, pero primero debes revisar la documentación de Screaming Frog). Muchas veces cuando estamos tratando de obtener el XPath para el texto, realmente tendremos que seleccionar el elemento HTML un nivel por encima del texto seleccionado.

Utilizando la extensión Scraper

Otra opción más sencilla, es descargarse la extensión “Scraper” para el navegador Chrome. Con ella instalada, tan solo has de hacer clic en el botón derecho encima de lo que quieres extraer, y pinchar en “Scrape similar”, de esta forma, de forma predeterminada te ofrece el xPath del elemento seleccionado. Solo tendrás que copiar el xPath.

Hacemos clic en el botón derecho encima de la sección que queremos analizar

Pinchamos en “Scrape similar…”

Copiamos la expresión XPath que nos facilita la extensión: //article/div[2]/p

Accedemos a la opción de Configuración – Custom de Screaming Frog

Elegimos la opción XPath y pegamos la expresión que hemos extraído con la extensión Scraper. Para conocer los textos, en este caso seleccionamos la opción “Extract Text”

Ya en esta parte del procedimiento ayuda hacer un rastreo de prueba breve, para asegurarnos que obtenemos la información deseada. Para hacer esto, inicia el rastreador en la URL de la página desde donde se copió la información de XPath y detén el rastreo unos 15 segundos después.

Navega hasta la pestaña «personalizada» de Screaming Frog, configura el filtro en «Extraction» y busca los datos en los campos del extractor. Si todo funciona bien, veremos el texto que quería capturar junto a una de las primeras URL rastreadas.

Solucionar URLS sin texto de extracción

Probablemente notarás, que hay otras URL enumeradas sin texto de extracción, lo que sucede si el código es ligeramente diferente en ciertas páginas, o Screaming Frog pasa a otras secciones del sitio. Si este es su caso, puede resolver este problema:

1. Rastreando lotes de páginas por separado a través de este mismo proceso, pero con el código XPath ajustado de una de las otras URL.
2. Cambiando a usar expresiones regulares u otra opción además de XPath, para ayudar a ampliar los parámetros y potencialmente capturar la información que buscamos en otras páginas.
3. Ignorando las páginas por completo y exclúyelas del rastreo.

En este ejemplo, vamos a excluir las páginas de las que no podemos extraer información en función de nuestra configuración actual y enfocamos entonces al Screaming Frog en el contenido que deseamos.

La vía a elegir depende mucho del caso específico al que nos estamos enfrentando y, otra vez, requiere que experimentes un poco con el programa y sus potencialidades. No obstante, esto no debe constituir un gran problema pues ya sabes la dirección que quieres tomar en función a los resultados que encontrarás.

Vamos entonces a decirle al Screaming Frog que se centre en las URL de las que nos gustaría obtener datos. Para ello, usamos las opciones «incluir» y «excluir» en el elemento de menú «configuración».

Con “incluir” podemos configurar SF para que solo rastree URL específicas en el sitio, usando expresiones regulares. En este ejemplo buscamos algo bastante simple, porque solo queremos incluir cualquier cosa en la / carpeta / subcarpeta del sitio donde originalmente encontramos el contenido que queremos incluir. Un parámetro es todo lo que se requiere.

Los «excluir» se complica algo el asunto, pero solo un poco. Debes tomar nota de las URL de donde Screaming Frog no está sacando información, que muchas veces están almacenadas en varias subcarpetas. Cuando las tenemos localizadas, le indicamos al programa que las excluya de la búsqueda.

Filtros de exclusión

Para cortar estas carpetas, agregamos las siguientes líneas al filtro de exclusión:

http://www.site.com/question/archive/.*

http://www.site.com/question/show/.*

Tras realizar más pruebas, quizás también necesitamos excluir más carpetas, así que agregamos:

http://www.site.com/question/genus/.*

http://www.site.com/question/popular/.*

Es oportuno señalar que, aunque Screaming Frog no extraiga información de estas URLs esto no va a molestar para nada en mi análisis, siempre y cuando las carpetas definidas contengan la información que deseamos, estas páginas “inútiles” no nos van a interferir con los resultados. Si le damos rienda suelta al Screaming Frog, este atrapa todo lo que necesitamos y un poco más, y el tiempo que demora para rastrear esta información inútil es ínfimo.

No obstante, tenemos que tener en cuenta que las peticiones del Screaming Frog se hacen contra un sitio real y activo, lo que se traduce en que, si no hemos optimizado el proceso de rastreo y quitado lo que realmente no nos hace falta, vamos a constituir una sobrecarga de tráfico para el sitio. Así que es elegante ser caballerosos, portarnos bien y no estorbar a quien nos está ayudando en un final.

Cuando ya hemos definido todos nuestros extractores, ejecutamos Screaming Frog y le dejamos realizar todo el rastreo y extracción del sitio, y nuestro análisis ya está casi listo. 99.99% listo, porque, una vez más, tenemos que pensar en el sitio web sobre el que estamos trabajando. No podemos estarlo inundando de peticiones constantemente, así que vamos a reducir la velocidad de rastreo.

Vamos a Configuración → Velocidad y reducimos el número de subprocesos y URL que se pueden rastrear a 5 hilos y 2 URL, lo cual no debe ser un problema para la mayoría de las páginas web.

Analizando los resultados

Luego de optimizar y realizar el rastreo utilizando Screaming Frog, es tiempo de utilizar los datos extraídos para analizarlos y sacar conclusiones útiles e ideas para mejorar la pertinencia y relevancia de nuestros contenidos, que al fin y al cabo es el objetivo que perseguíamos con este procedimiento.

Hay muchas formas para, literalmente, separar el grano de la paja en este análisis (en especial si no hemos configurado las exclusiones y hemos dejado que Screaming Frog rastree sin discriminar un sitio), pero solo analizaremos un par de ellas a modo de ejemplo.

Identifiquemos entonces palabras y frases populares entre nuestra audienciay que están siendo usadas ahora mismo en nuestro entorno social. Herramientas muy útiles para esto son Tagcrowd y Online Utility que realizan análisis de texto. La segunda puede que no de resultados bonitos desde el punto de vista visual, pero hace un desglose de frases comunes de 2 a 8 palabras muy útil, así como el recuento de veces que se utilizan palabras clave individuales.

Utilizando Tagcrowd

Exportamos un archivo .csv de los datos extraídos de Screaming Frog y combinamos todas las columnas de datos del extractor en una sola. Eliminamos las filas en blanco y limpiamos los datos un poco, eliminando puntuación, espacios extra y caracteres extraños.

Ahora que tenemos un conjunto de datos limpio, libre de caracteres adicionales y espacios impares, copiamos la columna y la pegamos en un editor de texto plano, para eliminar el formato.

Todo esto puede hacerse con cualquier editor de texto avanzado, como por ejemplo Notepad++, o bien con el editor en línea de editpad.org. Desde Editpad u otra opción, copiamos los datos limpios y los pegamos en el cuadro de entrada en Tagcrowd.

Pulsamos visualizar y ya estamos listos para obtener nuestros primeros resultados. De ser necesario, aún hay un par de ajustes extra que pueden hacerse a las opciones del Tagcrowd, como el número mínimo de apariciones de una palabra, la agrupación de palabras similares y otros. Con una aparición de palabras mínima de 2 ya se obtiene cierto nivel de frecuencia. En dependencia del número de resultados que se deseen ver, se puede fijar este umbral a un valor más alto.

Como es lógico, en un sitio de jardinería ciertas palabras serán temas comunes, tales como «flores», “semillas”, “suelos”, etc. Otras no son tan evidentes, como «identificar» e «identificación», y estas aportan una información valiosa sobre lo que se habla: si a los usuarios les interesa el tema de la identificación, podemos abrir toda una línea de contenidos utilizando palabras claves en nuestros artículos como “identificación de flores”, “como identificar las semillas” o incluso combinando palabras claves como “identificar los suelos correctos para plantar cada flor”.

Yo personalmente, prefiero seleccionar el elemento title, o h1 del contenido del blog o site a analizar para conseguir ideas de contenido, para así ir más rápido, y conseguir ideas de forma rápida, no obstante, con esta opción, puedes conseguir incluso el cuerpo de texto de todos los artículos de una sección determinada, par así con ellos hacer lo que quieras.

Aunque en este ejemplo no hacemos un rastreo intensivo del sitio, es suficientemente explicativo de cuáles son las potencialidades de rastrear varios sitios de forma exhaustiva, y mucho mejor de cómo van cambiando las preguntas y las inquietudes de la audiencia a lo largo de varios meses.

Además del valor de esta información para encontrar ideas sobre lo que está hablando nuestro público objetivo, también esta herramienta aporta la forma en que los usuarios están comunicándose. Resulta esclarecedor, por ejemplo, que la frase “por favor” aparezca de forma regular en nuestros resultados: esto indica que en los usuarios prima el respeto y los buenos modales, y apunta a que serán receptivos a un contenido que utilice un estilo de comunicación similar.

El análisis de los resultados de Tagcrowd es una fuente importantísima de ideas, pero también una fuente de frases con las que la audiencia se comunica. Con toda esta información en mano, es más sencillo y eficiente el proceso de crear una estrategia de contenidos basada en la intención de búsqueda de nuestro público, pero también una guía de como conectar y difundir nuestro mensaje de forma más eficaz, o mejorar nuestro Keyword Research.

Usando Excel

Otra herramienta tan sencilla como efectiva que podemos utilizar para procesar la información obtenida de Screaming Frog es Excel u otra hoja de cálculo similar. Basta con utilizar nuestra columna preparada previamente con los datos en limpio y hacer una simple ordenación ortográfica para colocar la información en un formato que ayuda a que los patrones salgan a la luz.

De esta forma, comenzamos por contar con una lista de preguntas que se están haciendo en la página que estamos analizando que nos pueden servir de guía efectiva para desarrollar contenido, per seo combinándola con el uso de los datos obtenidos gracias a herramientas como keywordtool.io, para identificar y capturar el tráfico de búsqueda de frases largas y temas de interés que de otro modo quedarían ocultos.

Hay una práctica muy útil con la que se puede interactuar con el sitio rastreado. Una vez elaborado y publicado el contenido que respondería a las preguntas que ha extraído de un sitio… regresa a él y compártelo. Esto no es spam, porque si el tema que trata es de interés público, no hay nada de malo en responder y luego poner un enlace a su página para obtener más información.

En un final…

Esto es solo el principio, y tanto tú como parte del grupo de marketing como tus superiores y clientes deben comprender bien esto. A través de este procedimiento podemos rastrear no solo un sitio, sinoun grupo de sitios que se dediquen a nuestra temática en específico para poder comprender mejor qué contenido está deseoso de recibir nuestra audiencia.

El verdadero valor de la técnica descrita radica en la simpleza de las herramientas que emplea para obtener resultados de manera eficiente, siendo estos la información sobre los temas que se están debatiendo en las comunidades de nuestros usuarios. El otro punto importante es que nada de lo que estamos describiendo necesita un presupuesto millonario para emplearse a escala de pequeña y mediana empresa.

El punto creativo está en elegir sabiamente qué sitios estamos monitoreando, con qué nivel de profundidad lo hacemos y cómo, después de recopilar la información, hacemos buen uso de ella procesándola e interpretándola de forma adecuada. Las formas de análisis pueden adaptarse a cada caso en particular, y este puede complicarse y profundizarse todo lo necesario para generar ideas para crear contenido relevante.

Esto, sin lugar a dudas, es una muy buena noticia para los lectores que necesiten sustentar con datos reales las pautas que han desarrollado para su estrategia de creación de contenido útil para su comunidad, ya que está basado exclusivamente en los criterios de la propia audiencia.

Esta información brinda además una comprensión más profunda de las necesidades, psicografía, demografía, necesidades, formas de comunicación preferidas y otros parámetros de las audiencias. Todo esto, con gran nivel de detalle y un posible seguimiento a lo largo del tiempo.

[…]

La entrada Cómo generar ideas de contenido con Screaming Frog: la explicación definitiva aparece primero en Marketing 4 Ecommerce – Tu revista de marketing online para e-commerce.