Crie um teste dividido

Teste o conteúdo da sua campanha com várias variantes

O teste dividido envolve criar variantes da sua mensagem que serão enviadas para uma porcentagem do público da campanha. Os resultados podem então ser analisados para determinar qual variante foi mais bem-sucedida em alcançar seus objetivos. Essa variante vencedora pode então ser enviada para a porcentagem restante do público da campanha ou usada para informar campanhas futuras.

Como funciona?
Uma variante ou grupo controle de 30% não significa que exatamente 30% dos usuários estarão na variante ou grupo controle. Em vez disso, cada usuário individual tem 30% de chance de ser adicionado àquela variante ou grupo de controle.
Para envios pequenos, isso resultará em alta variância. Por exemplo, um envio para 3 usuários com controle de 30% pode resultar em nenhum usuário entrando no controle ou em todos os usuários entrando nele. No entanto, para envios que miram 1.000+ usuários, a variância deve ser mínima.

Adicione uma nova variante de mensagem clicando no botão Adicionar variante . Insira uma descrição para cada variante de mensagem na entrada de Descrição Curta e alterne entre cada variante ativa ou inativa de acordo com quais você deseja executar em determinado momento.

Limite variante
Não é recomendado configurar mais de 7 variantes.

Grupo de Controle

Se necessário, você pode definir o tamanho de um grupo de controle inserindo um valor percentual no campo de entrada do tamanho do grupo de controle . Essa parte dos usuários-alvo da campanha não receberá nenhuma mensagem.

Usar um grupo de controle permite medir a atividade dos usuários entre o público que recebeu uma mensagem e o que não recebeu, oferecendo uma comparação direta da influência obtida ao enviar uma mensagem específica para seus usuários.

Alocação aleatória

Por padrão, os perfis de usuário mantêm a mesma variante que receberam durante o envio inicial, pois a alocação permanece consistente nos envios subsequentes. Isso inclui a Alocação Aleatória do Grupo de Controle, permitindo que os usuários recebam uma variante aleatória (incluindo o grupo de controle) em cada envio.

Divisão percentual variante

Por padrão, o público é inicialmente dividido igualmente entre as variantes. Para definir diferentes porcentagens para cada variante, ative a opção de Dividir Porcentagem de Variante .

Faça as contas
A soma das porcentagens estabelecidas nas variantes ao usar a opção de Divisão de Porcentagem Variante deve ser igual a 100%.

Audiência de Teste

Percentual de usuários que receberam o teste

Defina uma porcentagem do seu público de campanha que receberá o teste inicial. Isso pode variar de 1% a 100%. Você deve considerar garantir que o público de teste seja grande o suficiente para obter resultados significativos. Por exemplo, definir uma audiência de teste de 10% em uma campanha que já tem um público pequeno dificilmente trará resultados confiáveis. Se você quer que toda a campanha seja um teste que vai orientar futuras decisões de segmentação da campanha, e não enviar o vencedor na campanha atual, então pode considerar montar uma audiência 100% de teste e garantir que todos estejam incluídos no teste.

Campanhas acionadas
Campanhas acionadas (como campanhas acionadas por API ou eventos) não permitem definir uma porcentagem.

Todo destinatário para quem a campanha é acionada receberá uma variante aleatória. Quando o tempo definido na duração do teste terminar, um vencedor será selecionado. Neste ponto, apenas a variante vencedora será enviada a todos os usuários que acionaram a campanha (incluindo aqueles que podem já ter ativado antes e receberam uma variante diferente da vencedora).

Grupos de controle e audiências de teste
Qualquer conjunto de grupo controle será considerado para o tamanho do público de teste. Se um público de teste de 10% for definido em uma campanha com um público inicial de 1000 usuários, então o tamanho do teste seria de 100 usuários.
No entanto, se também houver um grupo de controle de 20% estabelecido nessa campanha, cerca de 20 desses usuários serão incluídos no Grupo de Controle (e não receberão nenhuma campanha), e os usuários restantes (cerca de 80) serão o público de teste.

Escolha automaticamente um vencedor

É possível deixar essa opção desativada e rodar um teste manualmente. O usuário do Xtremepush é obrigado a retornar à campanha, visualizar e tomar uma decisão sobre o engajamento até então, e selecionar um vencedor clicando no botão selecionar como vencedor ao lado de uma das variantes. Se, no entanto, a opção do Xtremepush para selecionar o vencedor for ativada automaticamente, mais duas opções ficam disponíveis. Eles permitem que o usuário defina as regras sobre quando e como um vencedor deve ser selecionado.

Duração do Teste

Defina um tempo para o teste acontecer. Após esse período, uma variante vencedora será selecionada. Por exemplo, definir um horário de teste de 24 horas para uma campanha que deve começar às 9h de uma segunda-feira selecionará e enviará o vencedor às 9h da terça-feira seguinte.

A duração do teste deve ser definida para algo apropriado para a campanha. Dê tempo suficiente para os destinatários receberem e interagirem com as mensagens, mas não tanto tempo para que a mensagem fique desatualizada quando for enviada ao público restante.

Métrica Medida

Para que o Xtremepush determine o vencedor, é importante definir como a decisão será tomada. Qualquer canal habilitado para a campanha (e que tenha uma métrica rastreável) será exibido nesta seleção. Por exemplo, adicionar e-mails à campanha permitirá então selecionar aberturas e cliques de e-mail como métrica para verificar e determinar o vencedor. Apenas uma métrica pode ser selecionada.

Definindo o Vencedor
Variantes Xtremepush são conectadas por todos os canais. Portanto, uma vez determinado o vencedor, a variante vencedora será definida em todos os canais, independentemente da métrica específica usada para determinar o vencedor. Por esse motivo, recomendamos que as variantes tenham um tema/oferta comum em todos os canais. Por exemplo:
Variante A (em todos os canais): Oferta gratuita de item Variante B (em todos os canais): Oferta de devolução de dinheiro

Teste a compatibilidade por tipo de campanha

A capacidade de escolher automaticamente um vencedor não está disponível para todos os tipos de campanha. Abaixo está uma tabela que mostra uma referência rápida das opções disponíveis para cada tipo de campanha.

Tipo de Campanha	Vencedor Manual	Vencedor Automático	Teste de Porcentagem
Envios de Estágio Único (Programados)	Sim	Sim	Sim
Envios de Estágio Único (Acionados)	Sim	Sim	Não
No App / No Local	Sim	Não	Não
Viagens em múltiplas etapas (Programadas)	Não	Não	Não
Jornadas em múltiplas etapas (Triggered)	Sim	Não	Não
Campanhas desencadeadas pela Optimove	Sim	Não	Não
Salesforce MC	Sim	Não	Não

Analisar o teste e o engajamento da variante vencedora

As variantes vencedoras são indicadas com um ícone de troféu ao lado. Isso pode ser visto tanto na aba de Configuração da campanha quanto na página de análises da campanha.

Quando um vencedor é selecionado, ele é copiado para uma nova variante, que então é usada como variante enviada daqui para frente. Isso deixa claro que todos os detalhes do engajamento para as variantes de teste até o momento em que o vencedor é selecionado, e para a variante vencedora a partir desse momento.

Exemplo

Abaixo está um exemplo de como isso poderia ser:

Neste exemplo, duas variantes são configuradas para um push web programado e uma campanha de e-mail.

Um grupo controle de 10% foi estabelecido.
Um público de teste de 50% já foi estabelecido.
A campanha escolherá automaticamente um vencedor.
O teste terá duração de 4 horas, após as quais o sistema escolherá um vencedor com base na métrica selecionada.
O público desta campanha é de 1000 usuários.

100 usuários estarão no grupo de controle e não receberão nada. Dos 900 usuários restantes, 50% são designados para o teste de variante (450), então ∼225 receberá a variante A e ∼225 receberá a variante B aleatoriamente.

Após 4 horas, o sistema determinará qual variante é a vencedora. Essa variante agora será copiada para uma nova variante e enviada para os 450 restantes.