Como a IA tem impactado o dia a dia dos profissionais de UX que atuam em Discovery? Nossos feras Giovani, Rayssa e Talita do time de Sistemas Internos contam como foram suas experiências, teste e resultados.
A Inteligência Artificial (IA) é um tema que está ganhando atenção em diversas áreas. Por aqui a principal questão que temos debatido é: como podemos incorporar a IA ao nosso dia a dia como UX?
Essa pergunta nos fez refletir, levando a repensar todo o nosso processo de trabalho, compreendemos que a evolução é constante e acelerada e por isso é importante ressaltar que tudo o que compartilharemos aqui ainda está em desenvolvimento e evolução.
Neste texto vamos contar mais sobre a nossa experiência usando a IA em nossos processos, quais as dificuldades, pontos de atenção levantados no decorrer dos testes, resultados e as nossas conclusões. Acreditamos que a IA pode ser uma forte aliada e impactar diretamente no estilo de trabalho de quem atua em Discovery, estamos empolgados para compartilhar nossos primeiros resultados com vocês.
Implementando a IA no Discovery
Com o pensamento do design intrínseco, mapeamos as principais dores no processo de UX, levantamos as hipóteses de possíveis usos da AI, fizemos nossas pesquisas secundárias e iniciamos os testes. Valido ressaltar que não foi feito um Discovery completo, mas sim um estudo com testes para implementar IA conforme nossas necessidades. Abaixo contamos um pouco mais sobre cada etapa.
Desafios do processo de Discovery
A primeira etapa do nosso estudo foi identificar as principais dores que enfrentamos no processo de Discovery. A partir de pesquisas, entrevistas e dinâmicas, identificamos os seguintes pontos:
- Desk research: dependendo do contexto, a coleta e análise dos dados pode levar mais tempo que o planejado;
- Benchmark: identificar forças e fraquezas dos concorrentes e os diferenciais competitivos às vezes se torna uma etapa complexa;
- Questionários: levam tempo não apenas para criar, mas adaptar ao tom de voz, minimizar os vieses e validar com o time;
- Análise de dados: de longe o mais custoso, estudar todos os dados obtidos na coleta requer tempo dedicado tanto para análise como construção dos artefatos.
Com base nesses pontos, é fácil perceber que o processo de Discovery tradicional pode ser demorado, custoso e propenso a falhas (afinal, errar é humano).
Essas dores nos levaram a outra pergunta: Qual é o potencial de ganho de produtividade, redução de esforço e economia com a automação de processos com IA? E a resposta dessa pergunta fez brilhar os olhos de muitos, e vamos apresentar aqui pra vocês, segue a leitura!
Nossos pontos de atenção sobre segurança e privacidade
Antes de começar os testes, para garantir a privacidade dos participantes e a integridade das informações em nossos processos, definimos algumas políticas explicitas:
- Pré-processamento de dados: Removemos informações pessoais sensíveis, como nomes, e-mails e números de telefone, antes de iniciar os testes.
- Políticas de uso de IA em pesquisas: Estabelecemos diretrizes claras para o uso responsável da IA na análise de dados, envolvendo outros times na conformidade.
Essas medidas são fundamentais para proteger a confidencialidade dos participantes e assegurar a integridade de nossos processos, entretanto se tivéssemos uma ferramenta interna essa etapa não seria necessária. Agora que delineamos as bases, é hora de explorar as ferramentas e os testes que realizamos.
As ferramentas de IA que testamos
Decidimos redesenhar nosso processo de Discovery e mapear as etapas com templates para encaixar a inteligência. Para isso, identificamos as etapas e práticas mais utilizadas, e pesquisamos ferramentas de IA capazes de automatizá-las.
Para avaliar o impacto da IA no processo de Discovery, testamos ferramentas e abordagens de IA especializadas e genéricas. Nosso objetivo era identificar oportunidades de automatizar tarefas e melhorar a eficiência do processo.
Geração de questionários
Para automatizar a geração de questionários, testamos as seguintes ferramentas:
- Pollfish: Uma ferramenta especializada que permite gerar questionários completos em poucos segundos e possui uma interface fácil de ser utilizada (o que é o grande diferencial).
- ChatGPT e Bard: Ferramentas genéricas que também podem ser usadas para gerar questionários, mas requerem mais conhecimento técnico.
A IA pode gerar questionários completos em poucos segundos, já com o tom de voz definido. E o grande ganho é não precisar começar do zero, já que é mais fácil ajustar do que criar o que torna o processo bem mais rápido.
Análise de dados
Para a análise dos dados testamos duas ferramentas: Luminal e o ChatGPT.
- Luminal: Uma ferramenta especializada em análise de dados. Consegue analisar grande volume de dados (e não é pouco não, até 1 milhão de linhas!) com uma interface intuitiva, fácil de usar e sem a necessidade de conhecimento técnico.
- ChatGPT: Também pode ser usado para análise de dados. Na versão paga possui recurso para importação arquivos de diversos formatos, incluindo Excel, já na versão gratuita não.
Para realizar o teste com a versão gratuita do ChatGPT, usamos a ferramenta Aspose.Cells para converter um arquivo Excel em um arquivo de texto. O processo foi simples e rápido, levando menos de 10 segundos para formatar os dados de forma que o ChatGPT pudesse gerar as análises.
A Luminal e o ChatGPT possuem recursos diferentes, mas ambos podem identificar padrões e correlações em grandes conjuntos de dados. Isso ajuda a entender melhor as necessidades e comportamentos dos usuários levando a insights valiosos.
Nas análises que realizamos, onde o número de dados era baixo, os resultados obtidos foram semelhantes. No entanto, é importante ressaltar que a Luminal é uma ferramenta mais completa e poderosa para análise de dados principalmente quando se trata de quantidade, enquanto o ChatGPT é uma ferramenta mais acessível e criativa.
Dinâmicas RTB
Além dos testes para automatizar tarefas, também testamos a IA dentro de uma dinâmica.
A dinâmica RTB (Rose, Thorn, Bud) é uma ferramenta da Luma Institute que utilizamos com frequência. O único desafio que enfrentávamos era dividir a reunião em dois momentos devido as suas etapas.
No primeiro dia, coletávamos informações sobre o que estava funcionando, o que não estava funcionando e o que poderia ser uma oportunidade. Depois de preenchermos os post-its, precisávamos agrupar esses dados por semelhança. Então finalizávamos aplicando um mapa de afinidade, ou seja, rotulávamos os clusters e gerávamos insights propondo soluções ou melhorias.
Por experiência, sabíamos que a dinâmica RTB era demorada. Por isso, pensamos em usar a IA para acelerar o processo. A ideia era fazer o agrupamento dos post-its com a AI após o preenchimento, e continuar a dinâmica no mesmo dia, sem perder a qualidade das discussões e dos insights.
Para que a IA, conseguisse montar o agrupamento da forma esperada, fizemos muitos testes até chegar no modelo de prompt ideal para uso em dinâmicas. O modelo até então funcional e com qualidade no resultado entregava os seguintes tópicos:
- Uma contextualização prévia (sobre a dinâmica RTB);
- Disponibilizar os dados e descrever o que queremos analisar;
- Um exemplo com o resultado esperado;
- As restrições do que a IA não pode fazer (ajustar, acrescentar ou excluir informações) para evitar alucinações. *
Segundo o Alisson Solitto, Arquiteto aqui na BRQ e participante da Casa estratégica de Inovação,
[…]Devido à natureza probabilística e generativa de modelos de IA, eles podem “prever” resultados que não estão necessariamente baseados nas informações de seus dados, mas sim nos padrões que ela identifica. Estas produções imaginadas são frequentemente chamadas de “alucinações”.As alucinações podem levar os modelos a categorizarem informações de maneira errada, omitindo e incluindo outras que não são reais em nosso cenário. Para corrigir estas alucinações devemos enriquecer o prompt fornecendo um contexto mais detalhado e deixando claras as instruções que devem ser seguidas.
É importante dizer que nem sempre o resultado vem no mesmo formato, inclusive nesses testes o Bard foi o que melhor respondeu.
Além da economia de tempo e esforço no agrupamento (foi capaz de agrupar os dados de forma consistente com o que faríamos manualmente) a IA foi capaz de rotular, gerar insights e recomendações para cada grupo. Isso possibilitou que a dinâmica fosse realizada em um único dia, sem perda de qualidade.
Os resultados dos nossos testes
Como já mencionado uma das nossas maiores dores era o tempo, pesquisas longas geram custos altos. E depois de estudar, testar e ter a oportunidade de implementar, conseguimos converter as dores utilizando a IA proporcionando rapidez no processo, gerando economia e qualidade nas análises (independentemente da quantidade de dados). Abaixo detalhamos melhor esses resultados.
Para avaliar o impacto obtido com uso da IA, mapeamos o tempo necessário para realizar os mesmos processos que conduzimos em pesquisas anteriores, para ter um comparativo.
Antes, cada etapa realizada era conduzida por três profissionais de UX. Agora, com o IA atuamos nas mesmas etapas individualmente por conta do suporte que ela gera. O que impacta na economia dos custos associados ao processo de Discovery.
Quando fizemos o comparativo, observamos um impacto grande nos resultados. Em média, as ferramentas de IA reduziram o tempo de trabalho na geração de questionários e análise de dados em 11 e 8 horas, respectivamente. Isso representa um ganho de produtividade de mais de 200% e uma economia de mais de 60%, veja na imagem abaixo.
Um ponto importante é que as pesquisas anteriores tiveram uma média de 30 a 40 participantes. Se o número de participantes fosse maior, o tempo de análise seria equivalente. Ou seja, com o auxílio da IA nessas análises, pensando em escalabilidade, o ganho de produtividade seria ainda maior.
Conclusão e próximos passos
A inteligência artificial já é uma realidade e as dúvidas são recorrentes. Cada dia que passa surgem novas ferramentas, e fazer um filtro do que faz sentido (ou não) utilizar pode ser uma tarefa árdua, mas que se faz valer a pena. Os testes com ferramentas de IA comprovaram que essa tecnologia tem o potencial de melhorar a eficiência e a qualidade do processo.
Com a IA podemos fazer muito mais em menos tempo, agregando valor e qualidade às entregas. Não se trata de substituir profissionais, mas de potencializar suas capacidades e descobrir novas possibilidades. Com ela, podemos descobrir ainda mais oportunidades e impulsionar a estratégia da empresa, tendo um impacto significativo nos negócios.
Com base nos resultados dos testes, vamos continuar explorando o potencial da IA no nosso processo de Discovery. Queremos testar outras ferramentas de IA para identificar a melhor solução para o nosso contexto, tanto em processos de criação e análise, quanto em dinâmicas.
Aqui na BRQ, a Casa Estratégica, tem como um de seus pilares a inovação (IA Generativa). Nosso objetivo é ser referência na utilização de IA no negócio e na tecnologia dos clientes como também em toda BRQ.
Já temos alguns resultados concretos nesse sentido, como por exemplo o ‘ChatIABRQ’ (nome não oficial), um chat ainda embrionário em ambiente privado que usa a tecnologia OpenAI e já possibilita alguns testes para tarefas simples, como criação de questionários, agrupamento e análise de dado. O chat está passando por testes e em breve estará disponível para todos os profissionais da BRQ.
Por ser personalizado não precisamos nos preocupar com a limpeza dos dados sensíveis, processos internos, regras de negócio ou qualquer outro tipo de informação que estamos compartilhando, o que facilita ainda mais nossas etapas gerando maior segurança.
A escolha da melhor ferramenta de IA depende das necessidades específicas de cada equipe. Para equipes que possuem uma ferramenta de IA interna, como o ‘ChatIABRQ’ é uma excelente opção, mas é importante testar e avaliar diferentes opções para identificar a ferramenta que melhor se adapta às suas necessidades.
Quem somos?
Somos o Chapter de UX, e atuamos nos Sistemas Internos da BRQ, um grupo de profissionais com cargos similares, onde semanalmente discutimos questões de mercado, carreira, tecnologia entre outros temas, a fim de levantar iniciativas que agreguem valor de UX para a empresa.
__
Esse artigo foi escrito por:
Giovanni Alvarenga Silva, Agilista
Rayssa Maria De Melo Viana, UX
Talita Lucianetti, UX
