- Uma governança de dados bem-sucedida começa pela implementação de uma estratégia eficaz de gestão da qualidade dos dados.
- Isso passa pela escolha e pela implementação de uma solução tecnológica adequada. A escolha da solução é uma etapa determinante – ela deve ser ditada pelas necessidades funcionais da empresa. Outra chave, na nossa opinião, para uma gestão sólida da Data Quality consiste em criar um grupo dedicado, com representantes da área de TI e usuários dos dados.
- Aliás, são esses usuários, os que transformam os dados em ações que geram receita, que devem liderar esse grupo, e não os técnicos. Um projeto de gestão da Data Quality tem, portanto, dois lados: humano e tecnológico.
- Dados podem estar completos e mesmo assim incorretos: a precisão se mede separadamente da completude.
- A maior parte dos dados incorretos vem de erros humanos. Conscientizar os colaboradores pode pesar mais do que um novo software.
A qualidade dos dados se tornou hoje uma alavanca fundamental para o desenvolvimento dos negócios de uma empresa.
Os ganhos de uma gestão eficaz, abrangente e acompanhada da qualidade dos seus dados são enormes, e muitas vezes insuspeitados. Diferentes ferramentas existem no mercado para atender a essas diferentes necessidades de tratamento, atualização e limpeza.
Seja qual for o tipo de solução escolhida, o mais importante continua sendo conhecer as boas práticas de data quality e poder realizar regularmente uma auditoria de desempenho da gestão desses dados.
A realização de um projeto assim passa por diferentes fases: escolha das dimensões de qualidade a tratar e seleção dos critérios que permitem avaliá-las, caderno de requisitos, escolha das ferramentas de análise adequadas, estruturação por etapas da abordagem de qualidade e realização periódica de auditorias de controle.
Propomos aqui um guia completo para todos que querem saber mais sobre essas questões. Algumas horas de leitura bastam para dar a volta no assunto e descobrir como melhorar a qualidade dos seus dados de forma rápida e segura.
Precisa de apoio?Duplicidades, informações desatualizadas, dados ausentes… As anomalias nas bases de marketing/CRM têm consequências bem reais: campanhas com desempenho pior, análises e decisões enviesadas… Mesmo assim, poucas empresas implementaram uma verdadeira abordagem de Data Quality.
Felizmente, existem soluções para resolver isso. Consultorias de dados podem ajudar você em todos os níveis: auditoria, plano de ação, implementação operacional, acompanhamento.
1. Data quality: definição e vantagensEmbora a expressão esteja em alta hoje, não é raro que alguns elementos-chave da sua definição sejam pouco conhecidos até dentro das equipes de marketing. Por isso, a menos que você seja especialista no assunto, entender a noção de “qualidade dos dados” por inteiro é indispensável, sobretudo para captar todas as vantagens operacionais e financeiras que decorrem dela.
2. Otimizar o seu data quality management: as boas práticas em revistaGarantir uma qualidade ideal ao longo do tempo depende antes de tudo de uma gestão eficaz, documentada e metodologicamente estruturada dos seus dados. Antes disso, algumas alavancas estratégicas podem ser acionadas pelas suas equipes para facilitar a implementação desses processos. As 6 regras de ouro do data quality management completam esse conjunto para garantir que você comece o seu projeto com uma base sólida.
3. Escolha de ferramentas / fornecedores de data qualityExistem várias formas de melhorar a qualidade dos seus dados. É claro que você pode fazer isso por conta própria ou escolher passar por um fornecedor externo. Tudo depende da complexidade do seu projeto e do tempo / orçamento à sua disposição. O mercado de ferramentas de acompanhamento/gestão da qualidade dos dados conta agora com inúmeras soluções (open source e proprietárias), e escolher a solução certa para o seu projeto exige um verdadeiro trabalho de delimitação das suas necessidades.
4. Auditorias regulares: a garantia de dados de qualidade no longo prazoMarco essencial da sua abordagem de qualidade, a auditoria permite verificar em intervalos regulares que a qualidade dos seus dados se mantém à medida que a sua atividade cresce ou que você integra novas ferramentas ao seu portfólio de soluções.
Data quality: definição e vantagens
O que é Data Quality?
Data Quality se refere à capacidade de uma empresa de manter a perenidade dos seus dados ao longo do tempo, e portanto a sua utilidade no âmbito de operações de marketing e vendas. Data Quality designa, portanto, uma forma de gerir os dados de modo que esses dados continuem viáveis ao longo do tempo. Todo mundo sabe que o tempo desgasta / degrada naturalmente a qualidade dos dados, porque o dado de clientes é uma matéria viva: as pessoas mudam de e-mail, de endereço, de número de telefone, mas também de preferências, de comportamento de compra etc. Um banco de dados que não recebe manutenção acaba armazenando dados que não estão mais corretos, que não correspondem mais a nenhuma realidade. A gestão da qualidade dos dados, ou Data Quality Management, é o conjunto de práticas e técnicas que permitem manter a veracidade dos dados contidos nos seus arquivos de clientes ou prospects.
Mas a gestão da Data Quality abrange um campo mais amplo e se baseia em levar em conta seis dimensões ou critérios, identificados pela associação DAMA United Kingdom:
- A completude dos dados: você tem todos os dados de que precisa sobre seus clientes ou prospects? Todos os atributos / campos de que você precisa estão preenchidos? A incompletude dos dados disponíveis é um dos principais desafios enfrentados pelas organizações na gestão dos seus bancos de dados.
- A sua validade: os dados disponíveis seguem uma sintaxe padronizada? (por exemplo: “av” vs “avenida”).
- A sua precisão: simplesmente, os dados presentes na sua base estão corretos? Eles refletem a realidade? Dados podem muito bem estar completos e mesmo assim incorretos, por isso esse critério é essencial. Você pode, por exemplo, ter os endereços de todas as pessoas da sua lista, mas pode ser que só 70% desses endereços sejam válidos.
- A coerência: os dados das suas diferentes bases são coerentes entre si? As informações de uma mesma pessoa registrada em várias bases são as mesmas de uma base para outra?
- A disponibilidade dos dados: os dados são facilmente acessíveis para as pessoas que precisam deles no trabalho?
- A atualidade dos dados: quando os dados foram registrados ou atualizados? Voltamos ao que dizíamos há pouco: os dados perdem valor naturalmente com o tempo, eles se degradam. Quanto mais recente é um dado, mantidas as demais condições, mais valor ele tem.
A qualidade dos dados disponíveis é a base da eficácia das atividades de marketing e vendas. Costuma-se dizer que o dado é o combustível do relacionamento com o cliente, do diálogo comercial e da eficácia do marketing. Mas isso só é verdade se os dados forem de qualidade, nos vários sentidos que acabamos de listar.
Leia tambémDescubra como construir uma estratégia de Lead Scoring.
Por que os dados inexatos são perigosos?
Nas profissões de análise de dados, a manutenção da qualidade dos dados é uma questão essencial. Todas as organizações que fazem Big Data conhecem os riscos e os perigos dos dados incorretos. O conceito de Data Quality não é mais um termo da moda, é algo realmente importante, que descreve uma preocupação muito legítima. E, no entanto, é preciso reconhecer que a Data Quality raramente faz parte das grandes prioridades das empresas.
Só que o dado por si só não basta. O que permite a uma empresa melhorar o seu desempenho não é o dado em si, mas o dado de qualidade. Vamos falar sem rodeios: se você não está disposto a manter os seus dados, melhor nem coletar dado nenhum… Dava até para inventar um slogan: dado se mantém ou não vale nada. Um infográfico compartilhado pela Halo Business Intelligence mostrou que quase 40% dos dados mantidos pelas empresas eram inexatos… Mais preocupante ainda, mais de 90% das empresas admitem que os dados de clientes de que dispõem são inexatos… No estudo da Halo Business Intelligence, 66% das empresas entrevistadas admitem a possibilidade de que os dados incorretos tenham um impacto negativo nos seus negócios. Elas chegam a estimar o custo provável em $8,200 000 em média… Tudo bem, estamos falando de peixes grandes, mas mesmo assim.
Leia tambémDescubra mais de 15 ferramentas para montar uma base de prospecção.
Por que e como ter dados de má qualidade afeta tanto o desempenho das empresas? Os perigos associados aos dados de má qualidade são de dois tipos. De um lado, eles geram custos financeiros; de outro, prejudicam a reputação da empresa.
Como mostra o estudo citado acima, os dados inexatos têm primeiro um impacto / um custo financeiro. Sem Data Quality, você acaba tomando decisões e implementando estratégias com base em fatos inexatos. Vamos a um exemplo simples e corriqueiro. Digamos que você queira criar a sua próxima campanha de marketing. Para isso, você usa os dados disponíveis para segmentar as pessoas certas. Mas, se os seus dados estiverem incorretos, você vai segmentar as pessoas erradas com as ofertas erradas. Você terá se baseado em comportamentos supostos que não são os dos seus contatos. A sua campanha de marketing corre o risco de fracassar. Ela terá custado dinheiro, sem retorno sobre o investimento consistente. Além disso, ter dados inexatos gera custos operacionais nada desprezíveis. Se você tem dados imprecisos ou inexatos sobre os seus clientes, vai ter que gastar tempo tentando encontrar a informação certa. E, nos negócios, tempo é dinheiro…
Evidentemente, implementar uma gestão da Data Quality custa dinheiro e supõe um investimento da empresa. No começo, você vai ter a impressão de perder mais do que ganha. Mas, se tiver dúvida, lembre-se sempre de que o custo associado aos dados de má qualidade sempre será maior do que qualquer estratégia de Data Quality. Consertar erros ligados à má qualidade dos dados sempre acaba saindo mais caro do que limitar os riscos de erro… A propósito, vale mencionar um estudo de 2011, bastante acadêmico, é verdade, mas apaixonante, que demonstra com provas que os custos associados aos dados incorretos são sempre superiores aos custos associados à manutenção da Data Quality.
Por fim, como dissemos acima, ter dados de má qualidade também pode ter um impacto muito prejudicial na imagem da marca da empresa. Simplesmente porque a má qualidade dos dados afeta necessariamente a qualidade das suas comunicações, a qualidade do diálogo que você mantém com os seus clientes. E, falando francamente, pega muito mal mostrar aos seus clientes, pelas suas mensagens, que você tem sobre eles informações completamente erradas. Isso atinge inevitavelmente a sua credibilidade. É verdade no B2C, e mais ainda no B2B.
Leia tambémDescubra 10 grandes tendências no universo dos softwares de CRM B2B.
Os benefícios de uma gestão da Data Quality
Não se preocupar com a Data Quality pode ter consequências graves para a atividade da empresa. Mas, além desse aspecto, implementar uma gestão da Data Quality traz vários benefícios “positivos”. Para começar, permite a uma organização reduzir custos em diferentes departamentos. O estudo da Halo Business Intelligence mostrou que as organizações que gerenciavam a Data Quality conseguiam reduzir:
- De 10% a 20% as despesas da empresa
- De 40% a 50% os custos de TI
- Em 40% os custos operacionais
Mais uma vez, a maior parte dessas reduções de custo resulta de um uso mais pertinente do dado. A gestão do planejamento, as decisões e as ações são mais eficazes quando são guiadas por dados corretos. Mas a gestão da Data Quality também contribui direta ou indiretamente para melhorar o desempenho econômico (faturamento, receitas). Porque ter dados de qualidade permite evitar os grandes erros estratégicos, melhorar a imagem da marca e garantir a lealdade dos clientes. Usar dados precisos permite melhorar o desempenho das suas campanhas de marketing e da sua estratégia de vendas.
Acima de tudo, ter uma gestão da Data Quality permite melhorar o risk management. Os riscos de erro são muito reduzidos se você baseia as suas decisões em informações corretas. A Data Quality permite limitar o risco de erro em muitas atividades, do atendimento ao cliente ao desenvolvimento de produto, passando até pela contabilidade! Ter dados de qualidade simplifica a vida dos colaboradores e os torna mais eficientes. Eles não precisam mais conferir as informações duas vezes, toda vez, para garantir que são válidas.
Leia tambémDescubra como fazer os processos de vendas B2B evoluírem para atender às exigências do tomador de decisão moderno.
Os componentes-chave de uma gestão eficaz da Data Quality
Como colocar ordem nos seus dados? Como implementar uma gestão eficaz da Data Quality? Há diferentes abordagens possíveis. Num primeiro momento, a sua empresa deve formular claramente as suas necessidades e os seus objetivos em matéria de uso dos dados.
Existem três componentes-chave a levar em conta na gestão da Data Quality:
- A governança de dados
- A Data Quality Assurance (QA)
- O controle da Data Quality
1. A governança de dados
Todas as empresas deveriam ter uma equipe responsável pela governança de dados para monitorar a qualidade dos dados, a sua atualização e os procedimentos existentes para manter a qualidade. Nos últimos anos, tornou-se comum encontrar nas empresas um Chief Data Officer (CDO) encarregado de manter a diretoria informada sobre os problemas ligados ao dado que a empresa enfrenta.
Uma equipe responsável pelo Data Management deve se concentrar nos objetivos estratégicos da empresa. Ela deve se perguntar o tempo todo quais são os objetivos-chave da empresa e como alcançá-los. As respostas a essa pergunta permitem definir os dados de que a empresa precisa para crescer. Isso também ajuda a priorizar os objetivos em matéria de Data Quality.
Depois de definir os objetivos de negócio em termos de dados, é preciso colocar ordem no banco de dados. Vários programas de Data Quality podem ser implantados para isso. Também é possível terceirizar a limpeza das suas bases, contratando uma consultoria especializada em dados de clientes. O mais importante é se concentrar nos dados que realmente fazem sentido para a sua organização e para a busca dos seus objetivos, e excluir os dados inúteis ou irrelevantes. As empresas costumam ter dificuldade para excluir dados, mas uma gestão eficaz da Data Quality supõe se concentrar exclusivamente nos dados essenciais.
Saiba que a gestão da Data Quality não consiste essencialmente em implementar o seu plano de ação com métodos cada vez mais sofisticados. É preciso também, e sobretudo, que você seja capaz de pesar o custo de implementação dos programas de Data Quality contra o custo financeiro e de reputação associado ao uso de dados de má qualidade. Para ser eficiente, uma gestão da Data Quality não precisa necessariamente ser cara.
Há um último aspecto da governança de dados que não deve ser negligenciado. Como se sabe, na maioria das vezes são erros humanos que estão na origem dos dados incorretos. Por isso, também é essencial conscientizar os colaboradores sobre a importância da Data Quality. É preciso que todos na organização se envolvam e entendam por que a qualidade dos dados é algo importante. Esse trabalho de conscientização pode se mostrar muito mais eficaz para eliminar os dados incorretos do que implementar um novo software sofisticado.
Leia tambémDescubra o nosso top 10 das ferramentas de limpeza de listas de e-mails.
2. A Data Quality Assurance
A Data Quality Assurance designa o conjunto de processos e técnicas do dia a dia que permitem identificar os dados inexatos, incoerentes, incompletos e, portanto, no fim das contas, garantir a manutenção da qualidade dos dados ao longo do tempo.
Implementar uma abordagem de Data Quality Assurance permite garantir no dia a dia que os dados usados pela empresa têm um alto nível de qualidade e permitem cumprir os objetivos identificados pela equipe responsável pela governança de dados.
3. O controle da Data Quality
Por fim, você também deve implementar protocolos de controle da Data Quality. O controle de qualidade assume o bastão da Data Quality Assurance. Controlar a Data Quality consiste em garantir que os dados estão corretos e que as bases não estão entulhadas de dados inúteis. Trata-se de controlar tanto a qualidade dos dados quanto o uso que os colaboradores da empresa fazem deles.
A Data Quality Assurance permite medir o nível de incoerência, de incompletude e de precisão dos dados disponíveis. O processo de controle do dado, por sua vez, consiste em decidir se o dado é útil, pertinente, se merece ser usado. Vamos a um exemplo. A pessoa responsável pela Data Quality Assurance será quem identificará os dados incoerentes. A pessoa responsável pelo controle será quem decidirá excluir esses dados para que eles não sejam usados pela empresa. O papel dela é impedir que a organização use dados incorretos.
Leia tambémDescubra o nosso guia completo sobre a arte de implementar processos comerciais eficazes.
As melhores práticas em Data Quality
Com a explosão do volume de dados disponíveis e o papel crescente do dado na tomada de decisões estratégicas, implementar um Data Quality Management sólido se torna um projeto obrigatório. Ainda mais porque o uso de dados de má qualidade gera custos consideráveis para as empresas.
Neste guia, vamos dar conselhos e compartilhar boas práticas para ajudar você a gerir da melhor forma a qualidade dos seus dados.
Quais alavancas estratégicas acionar para melhorar a qualidade dos seus dados?
Várias abordagens estratégicas já provaram o seu valor e são aplicadas em empresas reconhecidas pela qualidade da sua gestão da Data Quality. Todas as alavancas que vamos apresentar vêm de uma abordagem proativa de controle e acompanhamento da Data Quality, muito preferível às abordagens “reativas”, que consistem em consertar o estrago depois que ele foi feito.
1. Confiar a gestão da Data Quality às equipes de negócio
O objetivo principal do dado é alimentar o negócio. O dado é o combustível do marketing, de vendas, do relacionamento com o cliente. Por essas razões, a gestão da Data Quality não deve ser confiada à área de TI, mas às unidades de negócio, que são as principais usuárias dos dados.
Esses usuários são mais qualificados para determinar os parâmetros de qualidade dos dados, os dados a coletar, os fluxos de dados a criar, e para identificar os dados mais importantes, aqueles cuja qualidade deve ser acompanhada de muito perto.
2. Nomear Data Stewards
O Data Steward é a pessoa responsável pela organização e pela gestão dos dados da empresa. O seu objetivo principal é garantir a qualidade e a integridade dos dados armazenados no sistema de informação. É altamente recomendável escolher um Data Steward dentro das unidades de negócio, que conheça os seus desafios, as suas necessidades específicas e o seu funcionamento.
Nomear Data Stewards permite atacar na raiz os riscos de degradação da Data Quality.
3. Instituir um conselho de governança de dados
Esse grupo deve ser composto por representantes das diferentes funções da empresa, partes interessadas do dado e representantes da área de TI. Os Data Stewards podem trabalhar em estreita ligação com os membros do conselho, ou até ser nomeados membros plenos do conselho.
Um dos principais objetivos dessa instância é definir abordagens e políticas em matéria de Data Quality e garantir que elas sejam efetiva e corretamente implementadas em toda a empresa.
O conselho se reúne em intervalos regulares para analisar os resultados em matéria de governança de dados, tomar medidas em caso de problemas / erros e definir novas metas de qualidade.
4. Implementar um firewall para controlar a qualidade dos dados de entrada
Para uma empresa, o dado pode ser comparado a um ativo financeiro, então é totalmente lógico implementar controles para garantir que os dados que entram no sistema de informação tenham qualidade suficiente.
Também é importante que esses controles se apliquem a cada exportação ou modificação de dados, já que esses tratamentos podem levar a uma perda de “precisão” dos dados. Como explicamos em outro lugar, usar dados de má qualidade pode, mais adiante, causar problemas graves e ter impactos muito nocivos no negócio.
Implementar um firewall virtual permite detectar e bloquear os dados ruins antes que entrem no sistema de informação. Os dados corrompidos identificados pelo firewall podem ser devolvidos à fonte de origem para serem modificados, ou ser corrigidos antes de entrar.
Algumas soluções de gestão da Data Quality oferecem firewalls com regras personalizáveis.
As regras de ouro antes de começar um projeto de Data Quality
Antes de propor algumas etapas a seguir para melhorar o seu sistema de gestão da Data Quality, queríamos lembrar algumas regras essenciais no assunto. Colocar essas regras em prática é a condição sine qua non para implementar uma abordagem eficaz. Sem mais demora, aqui estão essas regras:
- Comece pequeno. Start Small, como dizem os anglo-saxões. Você deve ter desde o início uma visão clara do seu dispositivo de Data Quality Management, mas deve adotar uma abordagem progressiva. Não tente fazer tudo ao mesmo tempo. Hierarquize as frentes de implantação e organize-as num roadmap claro.
- A Data Quality é um processo permanente. Um projeto de gestão da Data Quality não é um projeto pontual, mas um processo permanente destinado a durar e a evoluir com o tempo. Um projeto de Data Quality Management supõe uma mudança de cultura da sua organização em matéria de governança de dados. Isso leva tempo. Você vai ter que fazer o seu dispositivo evoluir várias vezes, numa abordagem de melhoria contínua.
- Foque nos objetivos e metas de qualidade. Você deve identificar os critérios e as métricas importantes para a sua organização. Quais critérios os seus dados devem respeitar para serem considerados dados de qualidade (precisão, coerência, integridade, atualidade…)? Quais KPIs usar para medir a evolução desses critérios?
- Priorize as suas ações em função do ROI estimado. Você deve mirar primeiro nas zonas de dor, os problemas de Data Quality cuja resolução tende a gerar o maior ROI. Essa regra se combina com a anterior. São essas as ações que você deve implantar primeiro.
- Nunca há um único caminho. Os dados atravessam a empresa por todos os lados, alimentam-se de muitas fontes / aplicações, passam por muitos serviços de integração, alimentam muitas bases. A gestão da Data Quality pode ser feita a partir de qualquer nível dos seus fluxos de dados; depende das suas regras de governança de dados, das suas necessidades de negócio, das regras de propriedade dos dados, da arquitetura dos seus sistemas etc. Muitas vezes há várias opções na mesa para implementar uma gestão eficaz da Data Quality. Nunca há uma só via.
Otimizar o seu Data Quality management em 5 etapas
A gestão da Data Quality é um processo que se apresenta na forma de um círculo e envolve várias fases de implementação. Estas são as 5 etapas principais do processo. As etapas são sucessivas. Para cada uma delas, damos alguns conselhos específicos.
1. A avaliação da qualidade dos dados (Data Quality Assessment)
A primeira etapa consiste em submeter todos os dados armazenados pela empresa a uma inspeção detalhada para identificar as zonas problemáticas (erros, incoerências, dados duplicados, campos vazios) que prejudicam a busca dos objetivos de negócio da empresa.
Nesta etapa, é recomendável recorrer a um terceiro externo à empresa, que saberá fazer um diagnóstico objetivo da situação atual. Essa primeira etapa é a base a partir da qual toda a abordagem de gestão da Data Quality poderá se desenvolver.
Ela permite identificar os eixos de melhoria, as frentes de trabalho, as ações a realizar.
Recomendamos combinar:
- Uma abordagem top-down, que consiste em partir dos pain points no nível da atividade e buscar as suas causas no nível da qualidade dos dados.
- Uma abordagem bottom-up, que consiste numa análise dos dados que permitirá identificar as anomalias com impacto negativo na busca dos objetivos da empresa.
Esse trabalho se materializa num relatório que lista de forma clara e precisa todos os aprendizados obtidos. Esse relatório deve, na medida do possível, ser compartilhado com todas as partes interessadas. É o documento de base que permitirá hierarquizar e ordenar as frentes de ação prioritárias.
Leia tambémDescubra o nosso top 10 das ferramentas de limpeza de listas de mailing.
2. A medição da qualidade dos dados
O relatório produzido durante a análise permite focar nos dados mais críticos, aqueles cuja qualidade mais importa.
Você deve determinar atributos e dimensões (precisão, coerência, frescor, integridade, completude) que permitam medir a qualidade desses dados, definir indicadores (taxa de dados incompletos, por exemplo) e patamares de qualidade (acima dos quais um dado pode ser considerado um dado de qualidade).
A partir daí, você poderá deduzir as ferramentas e as técnicas a implantar para atingir o nível de qualidade exigido nos dados-alvo. Um dashboard pode ser criado para cada unidade de negócio a partir das métricas e dos patamares escolhidos.
3. Identificar os pontos de controle dos dados
Quando se desenvolve uma aplicação ou se atualiza um sistema de informação, em geral começa-se focando na funcionalidade antes de fazer gestão da Data Quality.
Ter definido antes as Data Quality metrics vai permitir que você integre os objetivos de Data Quality desde o início, ou seja, no ciclo de desenvolvimento das funcionalidades e de implementação das ferramentas. É de longe a abordagem mais eficaz, porque as pessoas responsáveis pela implantação das funcionalidades precisam saber quais são os dados necessários para cada aplicação.
Conhecer bem a estrutura dos fluxos de dados em todas as aplicações do sistema de informação permite identificar os pontos mais pertinentes para a inspeção e os controles diários. Quase sempre, trata-se dos pontos de entrada dos dados no sistema.
É a partir desse trabalho de identificação dos pontos de controle que você poderá deduzir as funcionalidades-alvo que terá de implementar.
4. A melhoria da Data Quality nos sistemas de informação
Os dados compartilhados entre os fornecedores de dados e os consumidores devem ser objeto de acordos contratuais que definam claramente níveis de qualidade aceitáveis.
Você pode usar as Data Quality metrics que definiu e incorporá-las nos contratos de serviço. Definir padrões de qualidade e de formatos ajuda a facilitar os fluxos de dados de uma entidade para outra.
Os metadados podem ser colocados num registro destinado ao Data Center Management, que deverá garantir que os dados estejam representados de uma forma aceitável e benéfica para as duas partes. Cabe ao Data Center Management fazer as análises de lacunas e o alinhamento das necessidades de negócio das duas partes.
As inspeções da qualidade dos dados podem ser feitas manualmente ou por processos automatizados que permitem verificar o nível de qualidade. O monitoramento e as ações corretivas podem ser feitos periodicamente, com uma frequência definida no contrato de serviço.
5. Identificar os casos em que os padrões de Data Quality não são respeitados e aplicar as ações corretivas necessárias
Quando você identifica um dado que não respeita os níveis de qualidade esperados, as ações corretivas devem ser realizadas por mecanismos de tracking da Data Quality semelhantes aos sistemas de rastreamento de bugs que existem no desenvolvimento de software.
O reporte dos erros e o tracking das ações realizadas para corrigi-los podem ajudar a alimentar os relatórios de desempenho. O importante é que a análise não deve se basear só nos erros, mas também nas suas causas.
É assim que você vai conseguir identificar as falhas nos seus processos. A isso deve se somar uma limpeza proativa dos dados em intervalos regulares para identificar erros que passaram despercebidos ou que entraram no sistema apesar dos controles.
É importante que a gestão da Data Quality aconteça no nível mais alto da organização, usando ferramentas adequadas de data management para facilitar a medição, o reporte e o processo de melhoria contínua.
A solução escolhida também deve ser capaz de se alinhar com os objetivos de negócio da empresa, necessariamente singulares.
Os objetivos de Data Quality e os planos de gestão devem ser compartilhados entre os produtores, os consumidores, os desenvolvedores e as equipes operacionais.
A Data Quality diz respeito a todos, e não apenas a uma função da empresa. Ela deve se tornar uma cultura da empresa. Os processos de entrada de dados devem ser definidos claramente no nível mais alto da organização.
As melhores ferramentas para a sua data quality
A qualidade do dado (ou data quality) se refere aos critérios e aos processos usados para medir ou melhorar a qualidade dos dados. Com esse objetivo, muitas ferramentas estão disponíveis para gerir, preparar e verificar o dado, cada uma com as suas especificidades. Listamos para você uma seleção das melhores soluções para ajudar a melhorar a qualidade dos seus dados disponíveis e explorar todo o seu potencial.
1. Data Management (incluindo Data Quality) – Mais para grandes empresas
A gestão de dados, ou data management, é descrita por muitos como um dos grandes desafios do nosso século. O crescimento exponencial dos dados disponíveis representa uma fonte de informação cada vez mais importante.
O desafio é conseguir explorá-los de forma pertinente para apoiar a tomada de decisão das empresas ou das organizações governamentais.
Essa necessidade deu origem ao data management, ou gestão de dados. O termo abrange todo o processo de aquisição, validação, armazenamento, proteção e tratamento dos dados com o objetivo de garantir a acessibilidade, a confiabilidade e a atualidade dos dados para os seus usuários.
Aqui você encontra uma lista das principais ferramentas mais adequadas para as grandes empresas.
1. SAS
O SAS é um software completo de data management que permite criar e gerir bancos de dados, fazer tratamentos analíticos dos bancos de dados e criar e distribuir relatórios de síntese e de listagem. Grandes empresas o usam, como a Honda, o Bank of America ou a ONG WWF.
Pontos fortes:
- Ferramenta completa para grandes empresas
- Adapta-se a todos os setores de atividade
Preço:
- De 7 000€ /ano para as funcionalidades básicas até várias centenas de milhares de €/ano
2. Informatica
A Informatica oferece várias soluções dedicadas à integração, à análise e à melhoria da qualidade dos dados. A empresa também oferece serviços de armazenamento de dados na nuvem. Também oferece uma solução SaaS.
Pontos fortes:
- Possibilidade de integração com muitas fontes de dados
- Facilidade de uso e de manutenção.
Preço:
- Conforme o número de funcionalidades.
3. Melissa
A Melissa é uma ferramenta dedicada à verificação dos dados (identidade, endereço, telefone, e-mail), indispensável para manter um nível alto de qualidade de dados. Eles também oferecem serviços em torno de dados de localização e demográficos.
Pontos fortes:
- Pode ser combinada com outras ferramentas internas (solução de e-mail marketing, CRM…)
- Tem soluções SaaS
Preço:
- Sob consulta
2. Data Preparation
A Data Preparation, ou preparação dos dados, abrange todas as etapas de limpeza dos dados que permitem garantir a sua coerência e a sua qualidade. A preparação inclui, por exemplo, a fusão de várias fontes de dados, a filtragem de dados inúteis, a consolidação, a agregação de dados e o cálculo de valores adicionais com base nos dados brutos. A preparação é importante quando se sabe que dados incoerentes e de má qualidade podem distorcer as informações que derivam deles. Eles também podem tornar a análise e a exploração de dados lentas e pouco confiáveis. Ao preparar o dado antes, as empresas ficam mais capazes de explorar ao máximo o seu potencial.
4. Google Dataprep
O Cloud Dataprep é um serviço visual inteligente para explorar, limpar e preparar dados para análise, que funciona sem servidor. Você pode importar vários arquivos, fundi-los, limpar, enriquecer, padronizar…
Pontos fortes:
- Fácil de usar
Preço:
- Em média 3€ por hora de uso
5. Talend Data Preparation
O Talend Data Preparation é uma solução que permite preparar dados, como software para download ou em nuvem, duas modalidades pagas. A versão gratuita e open source não existe mais: a Qlik, que agora é dona da Talend, retirou a edição open source do Talend Studio em 31 de janeiro de 2024.
Pontos fortes:
- Há uma solução possível para cada tipo de necessidade
Preço:
- Sob consulta
6. Dataiku
O Dataiku é uma ferramenta de análise de dados, que pode ser usada tanto por engenheiros quanto por profissionais de marketing, com bom desempenho em data preparation. A interface é simples e interativa para ser fácil de usar pelos profissionais de marketing, e avançada e técnica o bastante para agradar aos engenheiros de TI.
Pontos fortes:
- Interface simples e intuitiva tanto para engenheiros quanto para profissionais de marketing
Preço:
- Uma versão básica gratuita
- Sob consulta para uma versão mais completa
7. Qlik Sense
O Qlik sense é uma ferramenta particularmente adequada para leigos. A interface é muito visual, e a análise é facilitada por sugestões automáticas. O seu lado lúdico torna a informação acessível a todas as áreas da empresa. Você pode assistir a uma demo de 60 segundos neste vídeo.
Pontos fortes:
- Pode ser usado por todas as áreas da empresa
- Interface simples e lúdica
Preço:
- Uma versão básica gratuita
- Sob medida para mais funcionalidades
8. WinPure

O WinPure é uma suíte no-code e acessível de ferramentas de data quality que está no mercado desde 2002. Eles oferecem uma solução muito completa de serviços para atender aos desafios de data quality de clientes de todos os portes e setores.
Eles também oferecem uma solução de Master Data Management que permite aos seus clientes estruturar, testar e implantar iniciativas de MDM antes de investir de forma mais significativa em infraestrutura e na contratação de talentos.
Pontos fortes:
- Solução muito completa de data cleansing, matching e preparation
- Verificação de endereços
- Master Data Management
Preço:
- A partir de 185$ por mês e por usuário, com cobrança anual
3. Verificação de dados de contato
A verificação dos dados de contato consiste em pegar todos os tipos de dados sobre pessoas físicas e pessoas jurídicas, para depois analisá-los e padronizá-los num formato correto e único. Ela está ligada à preparação dos dados, já que tem o mesmo objetivo de obter dados confiáveis que permitam um tratamento sem erros.
9. DataValidation
A DataValidation, adquirida em 2021 pela Emailable, para onde o seu site agora redireciona, é uma das soluções de limpeza de e-mails com melhor desempenho do mercado. Ela permite identificar os endereços de e-mail inválidos para que você não seja considerado spammer nas suas campanhas de e-mail marketing.
Pontos fortes:
- Fácil de usar
- Precisão dos resultados
Preço:
- 60$ por 10 000 e-mails verificados, 420$ por 100 000 e-mails (preços da Emailable, os créditos não expiram)
10. 76310
A solução 76310 é especializada no controle e na correção de endereços postais. Ela segue a norma francesa RNVP para o tratamento informatizado de padronização postal dos endereços e é homologada pelo La Poste SNA (serviço nacional de endereços).
Pontos fortes:
- Interface disponível para o tratamento RNVP
- Tratamento RNVP, mudança de endereço e software de deduplicação
- Homologado SNA
Preço:
- Para 10 000 endereços (uso em modo SaaS) – 200 €
- Para 100 000 endereços (uso em modo SaaS) – 400 €
- Disponibilização do software on premise – de 16000 € sem impostos / ano a 30.000 € sem impostos / ano
11. Egon
O Egon é uma das principais referências entre os pacotes de software presentes no mercado internacional para a padronização de dados pessoais diversos (nome, data de nascimento, títulos, números de telefone, e-mail, código fiscal, número de IVA, dados bancários, dados postais, código postal, nomes estrangeiros, documentos de identidade)
Pontos fortes:
- Ampla escolha de dados a padronizar
- Solução completa de validação dos dados
Preço:
- Sob consulta
Auditoria de data quality
Se o dado é o combustível da sua empresa, em especial dos seus departamentos de marketing & vendas, ainda é preciso que esses dados sejam de boa qualidade. Trabalhar com dados de má qualidade gera custos de todo tipo e pode contribuir para tomar decisões estratégicas ruins.
Como implementar um dispositivo de acompanhamento da Data Quality? Quais critérios usar para qualificar a qualidade dos dados? Quais são os exemplos de data quality metrics fáceis de implementar? Quais são as principais causas na origem dos problemas de Data Quality?
Vamos tratar todas essas questões uma depois da outra. Esperamos que este guia ajude você na construção ou na melhoria da abordagem de auditoria da qualidade dos dados da sua organização.
A ausência de auditoria pode ter consequências prejudiciais para a sua empresa
As consequências de um controle de qualidade de dados ruim
Um controle ruim da qualidade dos seus dados pode ter consequências muito prejudiciais para a sua organização, em todos os níveis: o custo das suas campanhas de marketing e o seu desempenho, a compreensão das necessidades e expectativas dos seus clientes, a eficácia dos seus processos comerciais (processo de conversão de leads em clientes), a pertinência das suas decisões estratégicas etc. A RingLead publicou um infográfico muito interessante sobre o assunto. Nele, a empresa de software mostra os custos associados aos dados de má qualidade. Aqui vai um pequeno trecho do infográfico:

A RingLead destaca primeiro o crescimento vertiginoso do volume de dados à disposição das empresas. A cada ano, o volume de dados aumenta 40%. Mas 20% dos dados são dados ruins. Voltaremos mais adiante aos critérios que permitem qualificar a qualidade dos dados.
Os custos ligados ao uso de dados de má qualidade crescem ano após ano. Um outro estudo, da célebre consultoria Gartner, nos mostra que a falta de controle de qualidade dos dados custa às empresas entrevistadas, em média, 14 milhões de dólares por ano!
Os custos intangíveis ligados a um controle de qualidade de dados ruim
Não controlar a qualidade dos seus dados custa muito caro do ponto de vista material e financeiro. Isso é óbvio. Mas, ao lado desses custos “tangíveis”, também é preciso levar em conta todos os custos intangíveis, difíceis de medir por definição, mas bem fáceis de imaginar.
Imaginemos que a sua empresa queira difundir uma cultura “data-driven”. Você faz todos os esforços necessários e desenvolve um programa piloto destinado a mostrar o benefício em termos de ROI das tomadas de decisão data-driven, baseadas em business intelligence e analytics.
Mas há um problema: se os seus dados não forem de boa qualidade, você vai ter muita dificuldade para demonstrar aos seus colegas e aos seus superiores os benefícios da Business Intelligence. Se você questionar a qualidade dos dados usados depois do fato, é tarde demais, vai soar como desculpa.
É melhor resolver os problemas de Data Quality e demonstrar antes a importância crucial de ter dados de alta qualidade para gerar ROI a partir dos dados.
O principal custo intangível: as decisões ruins
Talvez esse exemplo não se aplique a você. Talvez você não precise demonstrar aos outros a importância de integrar a análise de dados ao processo de tomada de decisão. Talvez a sua empresa já faça analytics, mas sem prestar muita atenção ao controle da Data Quality.
Pois bem, nesse caso, você e a sua organização correm o risco de enfrentar um problema ainda mais grave: o de tomar decisões com base em dados incorretos. De certa forma, é melhor não ser data-driven de jeito nenhum e usar a intuição do que ser data-driven sem controlar a qualidade dos dados usados.
Neste último caso, o impacto das decisões ruins pode ser catastrófico. Por exemplo, digamos que os seus dados, incorretos, mostrem que o seu caixa está no azul. Você se sente incentivado a lançar novas ações e a aumentar os seus investimentos.
Só que, depois de alguns meses, você finalmente percebe que tem graves problemas de fluxo de caixa. Só que já é um pouco tarde: você não consegue pagar os seus fornecedores, nem mesmo os seus funcionários. Controlar a qualidade dos seus dados permite se proteger dessas dificuldades.
Um ciclo virtuoso para garantir a qualidade dos seus dados
A gestão e o controle da qualidade dos dados são um processo contínuo que pode ser ilustrado na forma de um ciclo:

Estas são as diferentes etapas resumidas em poucas palavras:
- Data discovery => Métodos que facilitam a interpretação dos dados brutos por usuários não técnicos (profissionais de marketing…). A Data Visualization é parte integrante desta etapa.
- Data Profiling => Processo que consiste em analisar os dados em detalhe, comparar os dados com os seus metadados, calcular estatísticas e avaliar a qualidade dos dados e a sua evolução.
- Data Quality Rules => Conforme as necessidades de negócio, o processo que consiste em definir as regras que os dados devem respeitar para poderem ser considerados dados de boa qualidade.
- Monitoring => O processo de acompanhamento contínuo da Data Quality com base nas regras de qualidade definidas antes. Isso inclui, por exemplo, a implementação de sistemas de notificação que permitem ser alertado quando um dado fica abaixo do limite de qualidade.
- Reporting => A atividade que consiste em criar dashboards e implementar KPIs para acompanhar a evolução da qualidade dos dados ao longo do tempo.
- Remediation => O processo que consiste em corrigir os erros e os problemas conforme são reportados nos dashboards.
Este ciclo mereceria por si só longos desenvolvimentos. Aqui vamos focar em particular em 5 dimensões da Data Quality que você deverá levar em conta na sua abordagem de auditoria.
Leia tambémDescubra 10 grandes tendências no universo dos softwares de CRM B2B.
5 dimensões-chave para implementar o seu dispositivo de auditoria
Para medir a qualidade dos seus dados, você precisa evidentemente de critérios de qualidade. Você deve defini-los claramente antes. Essas dimensões abrangem diferentes aspectos da qualidade. Para a auditoria, ficamos com 5, próximas da grade da DAMA apresentada acima: a precisão, a coerência, a completude, a integridade e a atualidade.
A precisão (accuracy)
O primeiro critério é o mais evidente: os seus dados refletem a realidade? Estão corretos, válidos? Descrevem com precisão o que pretendem representar? As mudanças de status dos usuários / clientes ou as transações fazem os dados evoluírem permanentemente e devem ser integradas ao seu conjunto de dados em tempo real.
A precisão dos dados pode ser medida a partir de fontes documentais (o seu software de gestão de pedidos, por exemplo) ou com técnicas de confirmação. Trata-se de avaliar se os seus dados têm ou não erros.
Uma métrica muito usada para medir a precisão dos dados é a taxa de precisão dos dados, ou seja, a porcentagem de dados corretos. Quanto maior essa razão, melhor, evidentemente. Não existe razão média nem razão-alvo.
Tudo depende da sua empresa, do seu porte, do volume e do tipo de dados tratados. Na maioria dos casos, uma razão acima de 85% é considerada muito boa.

A coerência
Em sentido estrito, a dimensão de coerência permite especificar se dois dados localizados em duas bases diferentes entram em conflito entre si ou não. Trata-se de saber se os dados dispersos nas suas diferentes bases são coerentes entre si, se, por exemplo, as informações de uma mesma pessoa registrada em várias bases são as mesmas.
No entanto, de forma mais ampla, a coerência não implica necessariamente a noção de exatidão. Vejamos o exemplo da criação de uma regra que permitiria verificar automaticamente se a soma dos funcionários de cada departamento não ultrapassa o número total de funcionários da organização.
A exaustividade
Você tem todos os dados de que precisa para tirar as conclusões certas? Os seus campos e os seus atributos estão todos corretamente preenchidos? Há campos vazios? Você tem dados faltando?
São essas coisas que se trata de medir com este critério. A falta de exaustividade dos dados pode distorcer os resultados das suas análises. Por isso essa dimensão é essencial. Um exemplo de data quality metrics que você pode usar para avaliar esse critério: o número de campos vazios num determinado data set.
A integridade
Também conhecida como Data Validation, a integridade se refere aos testes e aos procedimentos destinados a eliminar todos os erros e anomalias constatados. Trata-se de garantir que os dados sejam legíveis e estejam corretamente formatados (por exemplo, que todas as datas estejam no formato DD/MM/AAAA).
Pode-se usar o Data transformation error rate para medir a proporção de erros ocorridos nas operações de transformação dos dados (de conversão de um formato para outro). Pode-se acompanhar a evolução dessa razão ao longo do tempo.

A atualidade (ou o frescor)
Com esta última dimensão, trata-se de garantir que os dados estejam disponíveis e acessíveis a qualquer momento. Este critério mede o tempo entre o momento em que o dado é solicitado e o momento em que ele fica de fato disponível para uso. Pode-se usar o data time-to-value para medir essa dimensão. O objetivo é reduzir ao máximo esse tempo, visando um ideal de imediatismo.
Seja qual for a forma que você usa para melhorar a qualidade dos seus dados, você sempre vai precisar medir a eficácia dos seus esforços. Esses exemplos de data quality metrics permitem acompanhar e avaliar o seu trabalho. Quanto mais você medir e avaliar, mais simples será melhorar a Data Quality.
Exemplos de data quality metrics que você pode implementar
As dimensões que apresentamos acima permitem medir a sua Data Quality e os seus esforços de um ponto de vista quantitativo. As data quality metrics que vamos apresentar agora vão permitir que você adote, em paralelo, uma abordagem mais qualitativa. Aqui vão alguns exemplos:
- Os indicadores de satisfação, obtidos por meio de pesquisas ou enquetes, que permitem medir a satisfação dos colaboradores da sua empresa com os dados à sua disposição.
- Os indicadores de produtividade, como, por exemplo, a evolução da porcentagem de vezes em que o departamento responsável pela governança de dados detecta e elimina projetos ou iniciativas redundantes.
- A medição dos riscos e das oportunidades. Por exemplo, os benefícios gerados graças à qualidade dos dados ou os riscos concretizados ligados ao uso de dados problemáticos.
- Os avanços em análise da concorrência ligados a uma melhor disponibilidade dos dados ou às melhorias na qualidade dos dados.
3 fontes na origem dos problemas de má qualidade dos dados
Limpar os seus dados, consertar os erros constatados, completar os dados faltantes, verificar a sua precisão são coisas muito importantes. Mas, como em tudo, é melhor prevenir do que remediar, identificando os problemas na raiz. Resolver os problemas na fonte vai permitir que você evite o retorno de dados de má qualidade. Nunca se esqueça de que manter a qualidade dos dados não é um trabalho pontual. É um processo contínuo e sem fim.
Fonte 1: As fusões e as aquisições
Quando duas empresas se aproximam, seja numa fusão (absorção de uma das entidades pela outra) ou numa aquisição (tomada de controle de uma pela outra), os dados seguem o mesmo movimento e passam a se relacionar, ou até a se fundir. Como quando duas pessoas que tiveram filhos de uma união anterior passam a viver juntas, podem surgir complicações.
Por exemplo, é possível, e até provável, que as duas empresas usem sistemas de dados completamente diferentes e métodos de coleta do dado diferentes. É até possível que uma das entidades tenha um banco de dados cheio de erros.
É recomendável implementar uma matriz winner-loser que permita decidir, a cada entrada de dados, qual deve ser considerada “verdadeira”. Esse tipo de matriz pode, como se imagina, se mostrar muito complexo e incompreensível.
Se você estiver diante dessa situação, se uma fusão ou uma aquisição estiver prestes a acontecer, reúna a área de TI em torno de uma mesa para antecipar as dificuldades que virão e formular um plano de ação antes – antes mesmo da assinatura.
Fonte 2: Migrar de um sistema de informação para outro
Para um usuário não técnico, pode ser complicado entender as dificuldades inerentes à troca de sistema de TI. No entanto, é uma operação muito complexa. A transição de um sistema para outro pode ser muito delicada.
Algumas empresas usam os mesmos sistemas de gestão dos seus bancos de dados há décadas. Para essas empresas, o momento da migração costuma ser muito mal vivido. Isso tem a ver com as características técnicas dos sistemas de informação. Um sistema de TI tem três partes:
- Um banco de dados (= os dados).
- As regras definidas e usadas para interpretar os dados
- A interface do usuário, que determina a forma como os dados são apresentados a quem os manipula (os usuários).
Cada um desses três aspectos pode gerar dificuldades no momento da migração de um sistema de TI para outro. Em geral, o foco fica na estrutura dos dados. Cuida-se para que essa estrutura seja preservada.
É uma abordagem errada, porque de um sistema de TI para outro as regras de funcionamento costumam ser muito diferentes. Resultado: depois da migração, os dados estão incorretos aos olhos dos usuários, mesmo que possam continuar corretos de um ponto de vista estritamente técnico.
O nosso conselho: numa migração, não basta que a sua equipe responsável pela transição seja especialista em um ou outro sistema. É preciso que eles conheçam muito bem os dois sistemas para que a transição aconteça sem sobressaltos.
Leia tambémDescubra o nosso comparativo de bancos de dados B2B.
Fonte 3: Os erros dos usuários
É um problema que provavelmente nunca vamos conseguir resolver por completo, já que sempre haverá humanos fazendo entrada de dados e errar é humano. Todo mundo comete erros de digitação regularmente. É preciso aceitar isso e levar em conta.
Até os especialistas responsáveis pela limpeza de dados cometem erros de digitação! Na falta de transformar as pessoas em robôs infalíveis, o nosso conselho mais simples é criar formulários fáceis de preencher. Assim, é possível reduzir significativamente os erros de digitação.
Na era da explosão do volume de dados usados pelas empresas, na era do Big Data e da multiplicação dos pontos de contato entre a empresa e os seus clientes/usuários, implementar um mecanismo de acompanhamento da qualidade dos dados é um projeto obrigatório.
Esperamos, com este guia, ter esclarecido alguns pontos e respondido a perguntas que você vinha se fazendo.
As perguntas que nos fazem sem parar.
O que é data quality?
Data Quality se refere à capacidade de uma empresa de manter a perenidade dos seus dados ao longo do tempo, e portanto a sua utilidade no âmbito de operações de marketing e vendas. A gestão da qualidade dos dados, ou Data Quality Management, é o conjunto de práticas e técnicas que permitem manter a veracidade dos dados contidos nos seus arquivos de clientes ou prospects.
Quem deve liderar a gestão da data quality?
As unidades de negócio, principais usuárias dos dados, e não a área de TI. É recomendável nomear Data Stewards entre elas e instituir um conselho de governança de dados que reúna as diferentes funções da empresa e representantes de TI.
Quais são as etapas do data quality management?
Cinco etapas sucessivas: a avaliação da qualidade dos dados, a medição dessa qualidade, a identificação dos pontos de controle dos dados, a melhoria da data quality nos sistemas de informação e, por fim, a identificação dos desvios em relação aos padrões e as ações corretivas.
Quais dimensões medir numa auditoria de data quality?
A precisão, a coerência, a exaustividade, a integridade e a atualidade dos dados. Cada uma tem as suas métricas: a taxa de dados corretos para a precisão, o número de campos vazios para a exaustividade, o data transformation error rate para a integridade, o data time-to-value para a atualidade.
De onde vêm os problemas de qualidade dos dados?
De três fontes principais: as fusões e aquisições, que aproximam sistemas e métodos de coleta diferentes, as migrações de um sistema de informação para outro, e os erros de digitação dos usuários.
Quanto custam dados de má qualidade?
Segundo um estudo da Gartner, a falta de controle de qualidade dos dados custa em média 14 milhões de dólares por ano às empresas entrevistadas. A isso se somam custos intangíveis, sendo o principal tomar decisões ruins com base em dados incorretos.










O que a comunidade diz.