Qualidade de dados: as 6 dimensões que definem se a sua base está pronta para IA
Arthur Frota
A pergunta que precede qualquer decisão sobre IA não é "qual ferramenta contratar". É "os dados que vou colocar dentro dessa ferramenta são confiáveis o suficiente para agir com base no que ela responder?"
Segundo a Gartner, má qualidade de dados custa às organizações em média US$ 12,9 milhões por ano. E 59% das organizações sequer medem a qualidade dos próprios dados. A maioria não tem visibilidade do tamanho do problema porque nunca definiu o que "dado bom" significa para o negócio.
Com IA, a conta chega mais rápido e de forma menos visível. Dado ruim que antes gerava relatório ruim agora gera decisão automatizada ruim, com aparência de rigor e em escala maior. O modelo não sinaliza quando a base que recebeu é problemática. Processa o que tem e entrega a resposta com a mesma confiança de sempre.
As seis dimensões abaixo são o framework consolidado como padrão de mercado pela IBM para avaliar prontidão de dados. Para cada uma: o que é, o que falha na prática, como medir e qual benchmark define aprovação.
1. Completude
Completude mede se todos os campos obrigatórios estão preenchidos. Uma base de clientes com 30% dos e-mails em branco tem completude de 70% nesse atributo. Uma base de pedidos onde 15% dos registros não têm código de produto tem completude de 85% nesse campo. Parece óbvio, mas é a dimensão que mais aparece comprometida em bases que nunca foram auditadas.
O problema de campos vazios não é só a ausência da informação. É que cada modelo de IA interpreta o vazio de uma forma: alguns ignoram o registro inteiro, outros imputam um valor estimado, outros tratam o campo como zero. O comportamento raramente é documentado ou visível para quem recebe a análise.
Como medir: calcule a taxa de campos preenchidos sobre o total de registros para cada campo crítico. O cálculo é simples: registros sem valor nulo dividido pelo total, multiplicado por 100. Faça isso por campo, não por tabela.
Benchmark: campos de identificação como CPF, CNPJ, e-mail e código de produto devem atingir 99% ou mais. Demais campos críticos que alimentam modelos de IA precisam estar acima de 95%. Campos secundários aceitam entre 80% e 90%.
2. Acurácia
Acurácia mede se o dado reflete a realidade. Uma transação registrada como R$ 12.000 quando o valor real era R$ 1.200 é problema de acurácia. Um endereço de entrega digitado com rua trocada é problema de acurácia. A data de emissão de uma nota registrada errada é problema de acurácia.
O risco específico aqui é que a IA não distingue dado certo de dado errado. Ela processa os dois com o mesmo nível de confiança. Uma base de precificação com 8% dos valores de custo incorretos vai gerar análise de margem coerente, bem formatada, e completamente equivocada.
Como medir: acurácia exige comparação com uma fonte de verdade. Para um diagnóstico inicial, selecione uma amostra de 100 a 200 registros aleatórios de campos críticos e compare com o documento ou sistema de origem. Calcule a taxa de registros sem divergência. Complementar com regras que sinalizem valores fora de intervalos aceitáveis para campos numéricos, como margem bruta negativa ou data de entrega anterior à data do pedido.
Benchmark: para análises que alimentam decisões de negócio, o padrão é acurácia acima de 98%. Para dados financeiros e transacionais, 99% ou mais. Uma taxa de erro de 2% que parece pequena em relatório estático se propaga como viés sistemático quando um modelo processa milhões de registros.
3. Consistência
Consistência mede se o mesmo dado tem o mesmo valor em todos os sistemas onde aparece. Se o ERP registra receita de R$ 800 mil em março e o CRM mostra R$ 740 mil para o mesmo período, há inconsistência. Se "cliente ativo" significa coisas diferentes no sistema de vendas e no de cobrança, qualquer análise que cruze as duas fontes vai gerar resultado conflitante.
Esse é o problema que mais aparece em empresas que cresceram rápido com múltiplos sistemas sem integração estruturada. Cada área foi resolvendo o próprio problema com a ferramenta disponível, e o resultado é uma empresa com dado abundante e inconsistente: tem o número, mas ninguém confia nele porque duas áreas chegam a valores diferentes para a mesma pergunta.
Como medir: para cada campo crítico que existe em mais de um sistema, calcule a taxa de concordância: registros com valor idêntico em todos os sistemas dividido pelo total comparado. Comece pelos campos que mais aparecem em análises cruzadas: receita, volume de pedidos, cadastro de clientes.
Benchmark: o padrão para campos que alimentam IA é consistência acima de 95% entre sistemas. Para métricas financeiras e de desempenho operacional, 99%. Inconsistência abaixo desse limite precisa ser rastreada até a causa: definição diferente, frequência de atualização diferente ou ausência de fonte única de verdade.
4. Atualidade
Atualidade mede se o dado é recente o suficiente para a decisão que precisa apoiar. Um endereço de cliente atualizado pela última vez há três anos pode estar errado. Uma previsão de demanda baseada em histórico de dois anos atrás pode não refletir o comportamento atual do mercado. Uma segmentação de clientes construída com dados de dois ciclos anteriores pode recomendar ações completamente equivocadas.
O erro mais comum não é ter dado desatualizado: é não saber que o dado está desatualizado. A empresa usa a base, a IA responde com confiança, e ninguém verifica quando aquela informação foi registrada pela última vez. A análise parece atual porque foi gerada hoje.
Como medir: para cada dado crítico, defina a frequência esperada de atualização com base na velocidade com que esse dado muda na realidade. Em seguida, calcule o percentual de registros atualizados dentro dessa janela. Para dados transacionais, a janela pode ser de horas. Para dados cadastrais, semanas ou meses.
Benchmark: para tabelas de primeiro nível que alimentam modelos em produção, o padrão é atualidade acima de 99% dentro de uma janela de 24 horas. Para dados cadastrais usados em segmentação, acima de 90% dentro da janela definida pela velocidade de mudança real do negócio.
5. Unicidade
Unicidade mede se cada entidade existe uma única vez na base. O cliente com CPF X está cadastrado uma vez, não três vezes com variações de nome, e-mail e endereço. O produto com código Y aparece uma vez, não duplicado com descrições ligeiramente diferentes em sistemas diferentes.
Duplicatas distorcem qualquer análise de volume: a empresa acha que tem 1.000 clientes ativos quando tem 820. Distorcem análises de comportamento: o mesmo cliente aparece como dois perfis distintos, com histórico de compra dividido entre os dois. E distorcem análises de churn: a saída de um cliente pode não aparecer porque o sistema ainda encontra outro registro com nome parecido.
Como medir: para cada campo de identificação única, como CPF, CNPJ, e-mail e código interno, calcule a taxa de duplicação: total de registros menos registros únicos, dividido pelo total. Duplicatas exatas são detectáveis com agrupamento simples. O mesmo cliente com grafia levemente diferente, sem o acento ou com abreviação de nome, exige algoritmos de similaridade.
Benchmark: o padrão para bases de clientes e contas é taxa de duplicação abaixo de 1% a 2%. Bases migradas de sistemas legados sem processo de deduplicação frequentemente chegam a 15% a 20% de duplicatas. Acima de 2%, qualquer análise de volume, segmentação e comportamento está comprometida.
6. Validade
Validade mede se o dado está no formato e dentro do intervalo esperado para aquele campo. CEP com seis dígitos onde o padrão é oito. Data de nascimento em 2090. Valor negativo em campo de receita bruta. Código de produto com caracteres especiais onde o padrão é alfanumérico. Cada um é problema de validade, e cada um pode passar despercebido por anos em uma base sem auditoria.
O risco aqui é triplo: o dado inválido pode ser ignorado pelo modelo sem aviso, processado como válido distorcendo o resultado, ou causar falha silenciosa no pipeline de dados. Em nenhum dos três casos o problema aparece na saída de forma clara. O analista recebe o resultado como se fosse completo.
Como medir: defina as regras para cada campo crítico, intervalo numérico aceitável, formato de data, lista de valores permitidos, padrão de texto, e calcule o percentual de registros que atendem todas as regras. O ponto mais importante: essas regras precisam existir na entrada do dado, não só na auditoria posterior. Regra aplicada apenas após o dado entrar na base corrige o histórico, mas não impede novos problemas.
Benchmark: para campos críticos que alimentam IA, o padrão é validade acima de 98%. Campos com menos de 95% de validade estão gerando ruído suficiente para distorcer qualquer modelo que os use como entrada.
Como usar as seis dimensões antes de um projeto de IA
Nenhuma base tem nota máxima nas seis dimensões ao mesmo tempo, e não precisa. O critério não é perfeição: é saber onde estão as lacunas e mapear o impacto de cada uma para o caso de uso específico.
Uma análise de tendência de vendas tolera completude de 85%. Uma análise de churn individual precisa de unicidade próxima de 100%. Uma previsão de demanda para o mês seguinte depende muito mais de atualidade do que de acurácia histórica. O que importa é que o diagnóstico exista antes de o modelo ser ativado, não depois que as primeiras decisões já foram tomadas com base em respostas erradas.
A sequência prática: audite as seis dimensões nos dados que o projeto vai usar. Identifique onde cada dimensão está abaixo do benchmark. Decida, para cada lacuna, se o impacto é tolerável para aquele caso de uso específico ou se precisa ser tratado antes. Só depois disso conecte o modelo.
Segundo a Gartner, 59% das organizações não medem a qualidade dos próprios dados. Para quem está avaliando IA, fazer esse diagnóstico antes de contratar qualquer ferramenta é a diferença entre usar IA para decidir melhor e usar IA para justificar decisões que já estavam erradas.
Perguntas frequentes
Preciso ter nota máxima nas seis dimensões para usar IA? Não. O critério é conhecer as lacunas e mapear o impacto de cada uma para o caso de uso específico. Os benchmarks acima são referência geral. Ajuste os limiares de acordo com o risco da decisão que o modelo vai apoiar.
Qual dimensão costuma ser mais crítica em empresas médias brasileiras? Consistência e unicidade. Empresas que cresceram com múltiplos sistemas sem integração estruturada quase sempre têm o mesmo conceito definido de formas diferentes em fontes diferentes. Quando a IA cruza essas fontes, ela recebe versões conflitantes e resolve o conflito de forma não documentada.
Com que frequência devo rodar esse diagnóstico? Para modelos em produção, monitoramento contínuo é o padrão. Para diagnóstico inicial antes de um projeto, auditoria completa nas seis dimensões. Para manutenção preventiva, trimestral para bases que mudam rápido e semestral para bases mais estáticas.
Uma ferramenta de IA pode corrigir problemas de qualidade de dados? Ferramentas específicas para deduplicação automatizada e padronização de campos existem e funcionam para casos pontuais. Mas usar IA de análise e decisão sobre dados sem qualidade básica não resolve: amplifica. Corrigir a base antes de ativar o modelo é sempre mais barato do que tentar compensar dado ruim com modelo mais sofisticado.