logo indigitall
/Manual de usuario /Campañas Push /Test A/B
EN

 | ES

Test A/B


El Test A/B es una técnica usada por los equipos de marketing y comunicación para optimizar el contenido de una campaña antes de impactar a toda la base de usuarios.


Consiste en enviar una misma campaña con diferentes formatos a un grupo de usuarios reducido (grupo de control). Después de un tiempo (aproximadamente 24 horas) se comparan los resultados de todos los formatos, y se envía el de mayor éxito a la base completa de usuarios (audiencia). Hay que evitar enviar al grupo de control para que no reciban la misma campaña dos veces.


La plataforma de indigitall ofrece esta funcionalidad para que este proceso sea muy sencillo y cómodo, de forma que puedas utilizar esta técnica de test A/B de forma habitual en tu día a día, y que de esta manera puedas optimizar tus campañas en base a datos reales de respuesta de los usuarios.


El formulario de creación es muy similar al de crear una campaña push normal. Las diferencias son:



AB Test


Crear un Test A/B


La creación de cada notificación es igual que cuando creas una nueva campaña. En el panel de uso podrás ver que hay dos opciones la A y la B, aunque tienes hasta 5 opciones/versiones C, D y E que podrás usar al mismo tiempo en una misma campaña, tan solo pulsando en el icono/símbolo de mas. Para borrar una versión, debe estar seleccionada aquella que quieres eliminar y luego hacer click sobre el símbolo de menos


AB Test

Durante el test cada dispositivo recibe sólo una notificación, independientemente del número de versiones. Algunos usuarios recibirán la notificación A, otros la B, …, pero en ningún caso dos versiones de la misma campaña.

Las versiones pueden enviarse mediantes: envío manual o envío inteligente.


AB Test


Envío Inteligente


El envío inteligente es un producto único de indigitall que optimiza el proceso de testeo de diferentes versiones de una misma campaña mediante nuestro algoritmo de machine learning, Test Inteligente.


Nuestro algoritmo enviará de forma progresiva y automática a todos los dispositivos una de las versiones. Según el éxito que tengan las versiones irá enviando a más usuarios aquella que tenga mayor tasa de conversión.


Cuanto más tiempo dure el test, el modelo matemático aprenderá mejor y enviará a más dispositivos la versión de mayor éxito. Las notificaciones se enviarán en una venta de 2 a 7 días de forma constante y gradual en horario diurno, dependiendo del número de dispositivos totales y de los filtros horarios.


Estadísticas del Test A/B


Haciendo clic en el botón de estadísticas de la sección Campaña > Push Test A/B, podrás consultar las notificaciones enviadas y cuántas han sido clickada por cada versión y dispositivo: web, android, iOS como el total.


AB Test

Estadísticas con Envío Inteligente


AB Test

A la izquierda se encuentra el detalle por campaña y en la última línea el total de la campaña:


A la derecha se encuentra el total de la campaña:


Al pinchar sobre una versión aparece una ventana emergente con el detalle por cada dispositivo (web, android, iOS) y el total del CTR (Click Through Rate), número de notificaciones clickadas entre las recibidas.


AB Test

Estadísticas con Envío Manual


Si pulsas en el botón de estadísticas, verás las campañas que se han enviado y la cantidad de clicks que se han realizado en cada una de ellas. Podrás ver cuál de las campañas que has utilizado para el testing son las que han obtenido los mejores resultados. A través de CTR (Click Through Rate) con esta métrica podremos saber cuántos clicks se han conseguido del total impresiones lanzadas y en consecuencia cual ha sido la campaña con los mejores datos.


AB Test

Elige aquella que desees enviar al resto de usuarios. A la izquierda hay un botón de "Enviar".


Estado de un Test A/B


Los test creados pueden se encontraran en uno de estos estados:


AB Test


Preguntas frecuentes sobre test A/B


¿Para qué testear las notificaciones?


Te ayudará a crear mensajes que conecten mejor con tus usuarios. Los test te permiten contrastar de forma sencilla qué contenidos impactan mejor para la misma campaña. Cada test te permite conocer mejor el comportamiento de tus usuarios, cómo responden a los diferentes canales de mensajes y las diferencias (y similitudes) entre el contenido.

Puedes probar a cambiar cualquier componente de una creatividad para ver cuál tiene mejor impacto:


¿Puedo realizar un test multivariante, MVT, de mis notificaciones push?

Si, en la sección Push Test A/B puedes realizar hasta 5 versiones A, B, C, D y E de una misma campaña pulsando en el icono de más para crear.


Cuando hago un Test A/B, ¿Los dispositivos reciben más de una notificación por campaña?

No, durante el test cada dispositivo recibe sólo una notificación, independientemente del número de versiones. Algunos usuarios recibirán la notificación A, otros la B, …, pero en ningún caso más de una notificación de la misma campaña.


Preguntas frecuentes sobre test A/B con Envío Manual


Cuando hago un Test A/B con envío manual, ¿Por qué tengo que introducir un número de dispositivos impactados y no se envía a todos mis usuarios?

Para realizar la exploración de cuál de las versiones creadas funciona mejor. De forma aleatoria se elegirá un número de dispositivos para impactar inmediatamente con las distintas versiones de la campaña.


En el Test A/B con envío manual, ¿Cuándo reciben la notificaciones mis usuarios?

Con el envío manual la campaña se enviará inmediatamente.


En el Test A/B con envío manual, ¿Cómo elijo la versión que debo enviar al resto de dispositivos?

Al pinchar en el botón de estadísticas, aparecen las campañas que se han enviado y la cantidad de clics que se han realizado en cada una de ellas.

Elige aquella que desees enviar al resto de usuarios. A la izquierda hay un botón de "Enviar".


Preguntas frecuentes sobre Test con Envío Inteligente


¿Qué es el Test A/B con Envío Inteligente?

Es la alternativa de indigitall a los test A/B tradicionales que permite comparar de forma automática la efectividad entre distintas creatividades de una misma campaña push. Nuestro algoritmo Test Inteligente usa machine learning para optimizar el proceso de envío de las diferentes versiones de una misma campaña.


¿Qué ventajas tiene en Envío Inteligente en los Test A/B frente al Envío Manual?

Te despreocupas de elegir la mejor versión para enviarla al resto de dispositivos. Además, como desde el principio ya se está enviando a la versión con mejor ratio de clicks, conseguirás que la conversión total mientras dure el test sea mayor.


¿Por qué el Envío Inteligente en los Test A/B no se envía instantáneamente a todos los dispositivos?

Se debe ir enviando poco a poco para que la máquina aprenda cuál es la mejor y elija qué versión debe seguir mandando.


¿Cuándo reciben la notificaciones mis usuarios con el Envío Inteligente en los Test A/B?

Cada dispositivo que cumpla las condiciones de filtro recibirá una de las versiones en menos de una semana desde que se activa la campaña. El Test Inteligente realiza la selección de dispositivo de forma aleatoria eligiendo la versión que hasta ese momento tenga mayor ratio de conversión. Recomendamos al menos una ventana de dos días para optimizar que la versión de mayor conversión sea la que van a recibir más usuarios.


¿Por qué me indica que “el test no cumple los requisitos del envío inteligente”?

Para que el algoritmo del Test Inteligente pueda seleccionar de forma correcta la versión de la campaña con mayor ratio de clicks debe ser enviada durante un tiempo y un número de dispositivos mínimos. En caso de no poderse realizar el Test Inteligente recomendamos realizar un test con envío manual.


¿Cómo elijo con Envío Inteligente en mi Test A/B la versión que debo enviar al resto de dispositivos?

Con un envío Inteligente no hace falta que elijas versión ganadora. El algoritmo de Test Inteligente de forma automática estudia cuál es la versión con mayor ratio de click para hacerla llegar a más dispositivos.