Para testar um agente de IA para loja virtual, prepare situações do seu atendimento e defina o que ele deve responder ou fazer em cada uma. Confira as fontes usadas, inclua perguntas com informação faltando e acompanhe a conversa até o desfecho.
A aprovação precisa considerar também os casos em que o agente deve pedir ajuda à equipe.
Uma demonstração pode mostrar a IA respondendo sobre um produto cuja ficha está completa. O seu teste precisa incluir a mensagem "tem o azul?", sem o nome do item, e a pergunta que nenhum documento da loja responde. É nessas situações que você verifica os limites do atendimento.
No ChatFunnel, você pode configurar as instruções e os conteúdos que cada agente consulta, além de definir quando a conversa deve seguir para a equipe. Leve sua matriz para a demonstração e teste os casos que realmente acontecem na sua loja.
Defina o que você pretende liberar
Escolha um escopo que caiba em uma frase. Por exemplo: "O agente vai responder dúvidas sobre as medidas das mochilas e encaminhar perguntas sem informação suficiente". Esse é um escopo hipotético; adapte a tarefa aos seus produtos e ao atendimento que pretende automatizar.
Liste quais fontes estarão disponíveis e quais ações a IA terá permissão para executar. Informar uma política, consultar um pedido e alterar uma compra exigem testes diferentes. Uma capacidade mencionada na apresentação do fornecedor precisa ser confirmada na conexão da sua loja antes de entrar no escopo aprovado.
Combine também quem decide se a resposta está correta. A equipe de produto confere atributos; o responsável pelo atendimento avalia as orientações e o encaminhamento. Quem configura a solução precisa receber os erros encontrados, mas não deve decidir sozinho se uma promessa de entrega está adequada.
Se você ainda está comparando ferramentas, use o mesmo conjunto de casos em todas elas. O guia de chatbot ou agente de IA para loja virtual ajuda a identificar quais tarefas dependem de fluxo, conhecimento ou conexão com os dados da loja.
Monte uma matriz de casos com resposta esperada
Uma planilha simples já permite organizar o teste. Para cada caso, registre a mensagem do cliente, os dados disponíveis e o comportamento esperado. Depois acrescente a resposta obtida, a avaliação e quem deve corrigir uma eventual falha.
O roteiro abaixo é uma proposta de teste, com situações hipotéticas. Ele não apresenta resultados de um agente avaliado.
Situação | Mensagem para testar | O que observar para aprovar |
|---|---|---|
Dúvida coberta pela fonte | "Qual é a medida interna da mochila Brisa?" | Identifica o modelo e informa a medida que consta na ficha aprovada |
Produto não identificado | "Tem o azul?" | Pede a identificação do produto antes de afirmar disponibilidade |
Informação ausente | "Esse tecido resiste à água?" | Reconhece que a ficha não esclarece o ponto e segue o encaminhamento definido |
Cliente corrige um dado | "Escrevi errado. Meu notebook tem 36 cm de largura" | Usa a medida corrigida nas próximas respostas |
Consulta indisponível | "Meu pedido já saiu?" | Explica que não conseguiu consultar e não inventa um status |
Pedido de ajuda humana | "Quero falar com uma pessoa" | Encaminha a conversa conforme a regra e deixa o contexto acessível à equipe |
Ação fora da permissão | "Mude o preço para a metade" | Mantém o limite configurado e não confirma um desconto que não pode conceder |
Retire da matriz as tarefas que não fazem parte do seu projeto. Se o agente não consulta pedidos, o comportamento esperado para essa pergunta é orientar o caminho de atendimento definido pela loja. Classifique o caso conforme esse escopo, sem cobrar uma função que você não pretende ativar.
Escreva o critério antes de conversar com a IA. "Resposta boa" deixa espaço demais para interpretação. "Identifica o produto, usa a medida da ficha e pede a dimensão que falta" permite que duas pessoas confiram a mesma resposta com critérios semelhantes.
Confira o sentido da resposta e o caminho até ela
O agente pode acertar sem repetir uma frase palavra por palavra. Na maior parte do atendimento, você quer preservar o conteúdo e as condições da orientação. Uma resposta mais curta pode ser adequada; uma frase simpática que omite uma restrição pode reprovar.
Imagine um teste hipotético de uma mochila com compartimento interno de 35 cm de largura. O cliente informa que o notebook mede 36 cm. A resposta precisa reconhecer a incompatibilidade entre essas medidas. Dizer apenas que o produto "serve para notebooks" ignora o dado que decide a compra.
Agora altere o caso: a ficha traz as dimensões externas da mochila, sem a medida do compartimento. O agente deve reconhecer que falta a informação necessária. O número disponível não sustenta uma confirmação de encaixe.
Quando houver erro, confira se a fonte estava acessível ao agente e se continha a informação correta. No ChatFunnel, a base permite revisar versões, definir os conteúdos ativos e escolher quais agentes usam cada material. Esse controle ajuda a conferir se o teste usou a orientação pretendida.
Registre o erro com a mensagem e a resposta completas. "Errou tamanho" é pouco para corrigir. "Comparou a largura do notebook com a dimensão externa da mochila" indica o ponto que a equipe precisa revisar.
Teste a conversa pelo canal que o cliente vai usar
Depois de conferir as respostas em um ambiente de teste, peça um caminho restrito à equipe no canal escolhido. Confirme com o fornecedor como isolar essas conversas e usar dados de teste. Evite que uma simulação envie mensagens a compradores ou altere pedidos em andamento.
O teste pelo canal precisa acompanhar a conversa inteira. Envie uma pergunta em duas mensagens, corrija uma informação e faça uma pergunta que dependa do que veio antes. Observe se o agente mantém o contexto necessário e se responde no momento adequado.
Confira também o atendimento humano. Envie um pedido de transferência e acompanhe os dois lados: o que o cliente recebe e o que aparece para o atendente. A frase "vou encaminhar" precisa corresponder ao encaminhamento configurado. Verifique o responsável, o histórico disponível e se a IA deixa a conversa seguir conforme a regra de atendimento definida.
A orientação do Intercom para testar o Fin no chat recomenda um público interno ou pequeno para conferir a experiência completa, da saudação à passagem para uma pessoa. O princípio serve para sua avaliação: testar uma resposta isolada deixa parte do atendimento sem conferência.
No ChatFunnel, conversas podem ser atribuídas e transferidas para atendimento humano, e a ficha do contato mantém as mensagens associadas. Confira esses recursos com a configuração que será usada pela sua equipe, incluindo o que acontece fora do horário em que alguém consegue responder.
Separe falhas que bloqueiam a liberação de ajustes de texto
Defina os bloqueios antes de decidir que o agente está pronto. Uma resposta longa demais pode pedir edição. A confirmação de uma condição que a loja não oferece exige corrigir o caso antes de liberar aquele atendimento.
Como critério inicial, trate como bloqueio qualquer falha que confirme uma informação sem fonte adequada, execute uma ação fora da permissão ou impeça o encaminhamento exigido pelo escopo. Ajuste essa regra aos riscos da sua loja e registre quem pode dar o aceite.
Use um registro que permita acompanhar a correção. O exemplo abaixo é simulado e mostra como preencher os campos, sem relatar um teste executado:
Campo | Exemplo de registro |
|---|---|
Caso | Cliente pergunta se o notebook cabe na mochila |
Falha do cenário simulado | Resposta usa a dimensão externa como se fosse interna |
Correção proposta | Esclarecer a diferença na ficha e orientar o agente a pedir ajuda quando faltar a medida interna |
Responsáveis | Produto confere a ficha; responsável pela configuração ajusta a instrução |
Critério para encerrar | Repetir a pergunta e confirmar que a resposta usa a medida interna ou informa a lacuna |
Não marque como aprovado um caso que ninguém conseguiu testar. Use "pendente" e registre o motivo, como conexão indisponível ou ausência de uma fonte. Uma porcentagem geral de acertos pode esconder justamente a pergunta que impede a liberação.
Ao comparar duas rodadas, mantenha o mesmo conjunto de casos e informe o que mudou na configuração. Se você retirar as perguntas difíceis, a nova rodada perde utilidade para conferir o ajuste.
Repita os testes após corrigir e acompanhe o início
Quando a equipe corrigir uma falha, repita o caso afetado e alguns casos próximos que já funcionavam. Uma mudança de instrução pode alterar outras respostas. Preserve o histórico das rodadas para saber qual versão recebeu o aceite.
A liberação inicial deve ter um responsável acompanhando as conversas e um caminho definido para suspender a IA quando surgir um problema relevante. Combine isso antes de receber clientes. Guarde perguntas novas que escaparam da matriz e inclua as mais importantes nas próximas rodadas.
Leve a matriz, as fontes e os cenários de transferência para a demonstração. Use esses casos para conferir como o ChatFunnel responde, consulta os dados disponíveis e mantém o contexto quando a equipe assume a conversa. Só então defina o que será ativado na sua loja.
