A qualidade dos dados se tornou uma alavanca essencial para o desenvolvimento da atividade de uma empresa, mesmo que os últimos desenvolvimentos digitais não sejam transversais ao seu negócio principal. Um estudo realizado pela IBM apresenta o seguinte número: a gestão inadequada dos dados custou à economia americana mais de 3.000 bilhões de dólares em 2016!
Esta estimativa espantosa mostra claramente os ganhos a serem obtidos com o gerenciamento eficaz, abrangente e contínuo de sua qualidade de dados. Diferentes ferramentas estão disponíveis no mercado para atender a essas diferentes necessidades de processamento, atualização e limpeza. Independentemente do tipo de solução escolhida, o mais importante é conhecer o boas práticas em qualidade dos dados e ser capaz de conduzir um auditoria de desempenho a gestão destes dados.
SAS é um software completo de gerenciamento de dados que permite a criação e gerenciamento de bancos de dados, o processamento analítico de bancos de dados e a criação e distribuição de relatórios de resumo e listagem. Grandes empresas a utilizam como Honda, Bank of America ou a ONG WWF.
Pontos fortes :
- Ferramentas abrangentes para grandes empresas
- Adequado para todos os setores de atividade
Preço :
- De 7.000 euros/ano para funcionalidade básica a várias centenas de milhares de euros/ano
2. Informatica
Informatica oferece várias soluções dedicadas à integração, análise e melhoria da qualidade dos dados. A empresa também oferece serviços de armazenamento de dados na nuvem. Ela também oferece uma solução SaaS.
Pontos fortes :
- Pode ser integrado com muitas fontes de dados
- Facilidade de uso e facilidade de manutenção.
Preço :
- Dependendo do número de características.
3. Melissa
Melissa é uma ferramenta dedicada à verificação de dados (identidade, endereço, telefone, e-mail) que é essencial para manter alta a qualidade dos dados. Eles também oferecem serviços em torno de dados demográficos e de localização.
Pontos fortes :
- Pode ser combinado com outras ferramentas internas(solução dee-mailing, CRM…)
- Tem soluções SaaS disponíveis
Preço :
- A pedido
4. Oceanos
A Oceanos projeta estratégias de gerenciamento de dados que otimizam o desempenho de vendas e marketing. A ferramenta pode ser integrada com um arquivo CRM e permite pontuar o nível de qualidade dos dados e limpar, atualizar, enriquecer e analisar os dados.
Pontos fortes :
- Numerosas integrações possíveis (API, Zapier, Salesforce…)
Preço :
- 1500 a 9500 por mês
Sommaire
2. Preparação de dados
A preparação dos dados inclui todas as etapas envolvidas na limpeza dos dados para garantir sua consistência e qualidade. A preparação inclui, por exemplo, a fusão de várias fontes de dados, filtragem de dados desnecessários, consolidação, agregação de dados e cálculo de valores adicionais com base nos dados brutos. A preparação é importante porque dados inconsistentes e de baixa qualidade podem distorcer as informações resultantes. Também pode tornar a análise e a mineração de dados lentas e não confiáveis. Ao preparar os dados com antecedência, as empresas estão mais aptas a explorar todo o seu potencial.
5. Google Dataprep
O Cloud Dataprep é um serviço visual inteligente para explorar, limpar e preparar dados para análise que funcionam sem um servidor. Você pode importar vários arquivos, fundi-los, limpá-los, enriquecê-los, padronizá-los…
Pontos fortes :
- Fácil de usar
Preço :
- Em média 3 euros por hora de uso
6. Preparação de dados Talend
Talend Data Preparation é uma solução de preparação de dados com 3 pacotes diferentes: um software gratuito e de código aberto, um download pago e uma solução de nuvem paga.
Pontos fortes :
- Uma solução é possível para cada tipo de necessidade
Preço :
- A pedido
7. Dataiku
O Dataiku é uma ferramenta de análise de dados, utilizável tanto por engenheiros quanto por marqueteiros, poderosa para a preparação de dados. A interface é simples e interativa para que seja fácil de usar pelos marqueteiros, e avançada e técnica o suficiente para atrair os engenheiros de dados.
Pontos fortes :
- Interface simples e intuitiva, tanto para engenheiros quanto para marqueteiros
Preço :
- Uma versão básica gratuita
- A pedido de uma versão mais completa
8. Qlik Sense
OQlik sense é uma ferramenta particularmente adequada para os não iniciados. A interface é muito visual, e a análise é facilitada por sugestões automáticas. Sua ludicidade torna a informação acessível a todas as profissões da empresa. Você pode assistir a uma demonstração de 60 segundos assistindo a este vídeo.
Pontos fortes :
- Pode ser utilizado por todos os negócios da empresa
- Interface simples e divertida
Preço :
- Uma versão básica gratuita
- Feito sob medida para mais funcionalidade
9. Octolis
DataValidation é uma das mais poderosas soluções de limpeza de e-mails do mercado. Ele permitirá que você identifique endereços de e-mail inválidos para que você não seja considerado um spammer durante suas campanhas de e-mail.
Pontos fortes :
- Fácil de usar
- Precisão dos resultados
Preço :
- 70 por 10.000 e-mails verificados, $300 por 100.000 e-mails
12. 76310
A solução 76310 é especializada no controle e correção de endereços postais e está em conformidade com a norma RNVP para o processamento computadorizado de endereços postais e é aprovada pelo La Poste SNA (serviço nacional de endereços).
Pontos fortes :
- Interface disponível para o processamento do RNVP
- Software de processamento, movimentação e deduplicação RNVP
- Aprovado pelo SNA
Preço :
- Para 10.000 endereços (uso no modo SaaS) – 200 euros
- Para 100.000 endereços (uso no modo SaaS) – 400 euros
- Fornecimento de software no local – de 16.000 euros HT / ano para 30.000 euros HT / ano
13. Egon
Egon é um dos pacotes de software líderes no mercado internacional para a padronização de vários dados pessoais (nome, data de nascimento, títulos, números de telefone, e-mail, código fiscal, número de IVA, dados bancários, dados postais, CEP, nomes estrangeiros, documentos de identidade)
Pontos fortes :
- Grande seleção de dados a serem padronizados
- Solução completa de validação de dados
Preço :
- A pedido
Auditoria de qualidade de dados
Se os dados são o combustível de seu negócio, especialmente de seus departamentos de marketing e vendas, então esses dados têm que ser de boa qualidade. Trabalhar com dados de má qualidade gera todo tipo de custos e pode contribuir para más decisões estratégicas.
Como criar um sistema de gerenciamento da qualidade dos dados? Que critérios devem ser usados para qualificar a qualidade dos dados? Quais são os exemplos de métricas de qualidade de dados que são fáceis de implementar? Quais são as principais causas dos problemas de qualidade dos dados?
Trataremos de cada uma destas questões uma a uma. Esperamos que este guia o ajude a construir ou melhorar o processo de auditoria de qualidade de dados de sua organização.
A falta de auditoria pode ter conseqüências prejudiciais para seus negócios
As conseqüências de um controle de qualidade de dados deficiente
O mau controle da qualidade de seus dados pode ter conseqüências muito prejudiciais para sua organização, em todos os níveis: o custo de suas campanhas de marketing e seu desempenho, a compreensão das necessidades e expectativas de seus clientes, a eficiência de seus processos de vendas (processo “lead-to-customer”), a relevância de suas decisões estratégicas, etc. A RingLead publicou um infográfico muito interessante sobre este assunto. A empresa de software mostra os custos associados à má qualidade dos dados. Aqui está um pequeno extrato do infográfico:
A RingLead primeiramente aponta o crescimento espantoso no volume de dados disponíveis para as empresas. A cada ano, o volume de dados aumenta em 40%. Mas 20% dos dados são dados ruins. Voltaremos mais tarde aos critérios para qualificar a qualidade dos dados. Os custos de utilização de dados de baixa qualidade estão aumentando ano após ano. Outro estudo, da conhecida firma Gartner, nos diz que a falta de controle de qualidade dos dados custa às empresas pesquisadas uma média de 14 milhões de dólares por ano!
Os custos intangíveis de um controle de qualidade de dados deficiente
Não controlar a qualidade de seus dados é muito caro de um ponto de vista material e financeiro. Isto é óbvio. Mas além desses custos “tangíveis”, devemos também levar em conta todos os custos intangíveis, que por definição são difíceis de medir, mas bastante fáceis de imaginar.
Digamos que sua empresa está procurando difundir uma cultura voltada para os dados. Você faz todo o esforço e desenvolve um programa piloto para demonstrar os benefícios do ROI da tomada de decisão baseada em inteligência comercial e análise. Mas o problema é que se seus dados não forem de boa qualidade, você terá muita dificuldade em demonstrar os benefícios da inteligência empresarial a seus funcionários e superiores. Se você questionar a qualidade dos dados utilizados após o fato, é tarde demais, isso soará como uma desculpa. É melhor abordar as questões de qualidade dos dados e demonstrar de antemão a importância crítica de ter dados de alta qualidade para gerar ROI a partir dos dados.
O principal custo intangível: má tomada de decisão
Talvez você não esteja preocupado com este exemplo. Talvez você não precise demonstrar aos outros a importância de integrar a análise de dados no processo de tomada de decisão. Talvez sua empresa já esteja fazendo análises, mas não prestando muita atenção ao controle de qualidade dos dados. Bem, nesse caso, você e sua organização podem ser confrontados com um problema ainda maior: tomar decisões com base em dados incorretos. De certa forma, é melhor não ser orientado por dados e usar sua intuição do que ser orientado por dados sem controlar a qualidade dos dados utilizados. Neste último caso, o impacto de más decisões pode ser catastrófico. Por exemplo, vamos dizer que seus dados estão incorretos e mostram que seu fluxo de caixa está no verde. Você é encorajado a desenvolver novas ações e aumentar seus investimentos. Só que após alguns meses, você finalmente percebe que tem sérios problemas de fluxo de caixa. Exceto que é um pouco tarde, você não pode pagar seus fornecedores ou mesmo seus funcionários. A verificação da qualidade de seus dados pode ajudá-lo a evitar estes problemas.
Um ciclo virtuoso para garantir a qualidade de seus dados
O gerenciamento e controle da qualidade dos dados é um processo contínuo que pode ser ilustrado como um ciclo:
Aqui estão as diferentes etapas resumidas em poucas palavras:
- Descoberta de dados => Métodos que facilitam a interpretação de dados brutos por usuários não técnicos (marketeiros, etc.). A Visualização de Dados é parte integrante desta etapa.
- Data Profiling => Processo de análise de dados em detalhes, comparação de dados com seus meta-dados, cálculo de estatísticas e avaliação da qualidade dos dados e sua evolução.
- Regras de Qualidade de Dados => Dependendo das necessidades comerciais, o processo de definição das regras que os dados devem seguir para serem qualificados como dados de boa qualidade.
- Monitoramento => O processo de monitoramento contínuo da qualidade dos dados, com base nas regras de qualidade definidas a montante. Isto inclui, por exemplo, a implementação de sistemas de notificação que permitem ser alertado quando um item de dados fica abaixo do limite de qualidade.
- Relatórios => A atividade de criar painéis de controle e implementar KPIs para monitorar a evolução da qualidade dos dados ao longo do tempo.
- Remediação => O processo de correção de erros e problemas relatados nos painéis de controle.
Só este ciclo mereceria um longo desenvolvimento. Aqui nos concentraremos em 5 dimensões de qualidade de dados que você deve levar em conta em seu processo de auditoria.
5 dimensões-chave para a criação de seu sistema de auditoria
Para medir a qualidade de seus dados, você obviamente precisa de critérios de qualidade. Você precisa defini-los claramente com antecedência. Estas dimensões atravessam diferentes aspectos da qualidade. Há 5 dimensões principais que qualificam a qualidade dos dados: precisão, consistência, integridade e atualidade.
Precisão
O primeiro critério é o mais óbvio: seus dados refletem a realidade? Eles são corretos, válidos? Eles descrevem com precisão o que afirmam representar? Mudanças no status do usuário/cliente ou transações contribuem para a evolução contínua dos dados e devem ser integradas ao seu conjunto de dados em tempo real. A precisão dos dados pode ser medida a partir de fontes documentais (por exemplo, seu software de gerenciamento de pedidos) ou através de técnicas de confirmação. O objetivo é avaliar se seus dados contêm ou não erros.
Uma métrica comumente usada para medir a precisão dos dados é a relação de precisão dos dados, ou seja, a porcentagem de dados corretos. Quanto mais alta esta proporção, melhor, obviamente. Não há uma relação média ou alvo. Tudo depende de sua empresa, de seu tamanho, do volume e do tipo de dados processados. Na maioria dos casos, uma proporção acima de 85% é considerada muito boa.
Coerência
Estritamente falando, a dimensão de consistência permite especificar se dois dados localizados em dois bancos de dados diferentes entram ou não em conflito entre si. É uma questão de saber se os dados dispersos em seus diferentes bancos de dados são consistentes entre si, se, por exemplo, as informações do mesmo indivíduo registradas em vários bancos de dados são as mesmas. No entanto, mais amplamente, a consistência não implica necessariamente precisão. Pegue o exemplo da criação de uma regra que verificaria automaticamente se a soma de funcionários em cada departamento não excede o número total de funcionários da organização.
Integralidade
Você tem todos os dados necessários para tirar as conclusões corretas? Todos os seus campos e atributos estão preenchidos corretamente? Há algum campo vazio? Você tem algum dado em falta? Estas são as coisas que este critério é projetado para medir. A falta de integridade dos dados pode distorcer os resultados de suas análises. Esta dimensão é, portanto, essencial a ser levada em conta. Um exemplo de métricas de qualidade de dados que você pode usar para avaliar este critério é o número de campos vazios em um determinado conjunto de dados.
Integridade
Também conhecida como validação de dados, integridade refere-se aos testes e procedimentos projetados para se livrar de quaisquer erros e anomalias encontrados. Isso envolve garantir que os dados sejam legíveis e formatados corretamente (por exemplo, que todas as datas estejam no formato DD/MM/AAAAA). A taxa de erro de transformação de dados pode ser usada para medir a proporção de erros que ocorrem em operações de transformação de dados (conversão de um formato para outro). A evolução desta relação pode ser acompanhada ao longo do tempo.
Atualidade (ou frescor)
Esta última dimensão é assegurar que os dados estejam disponíveis e acessíveis em todos os momentos. Este critério mede o tempo entre o momento em que os dados são solicitados e quando estão realmente disponíveis para uso. Os dados de tempo até o valor podem ser usados para medir esta dimensão. O objetivo é reduzir ao máximo este tempo, visando um ideal de imediatismo.
Não importa como você melhore a qualidade de seus dados, você sempre precisará medir a eficácia de seus esforços. Estes exemplos de métricas de qualidade de dados permitem monitorar e avaliar seu trabalho. Quanto mais você mede, mais você avalia, mais fácil será melhorar a qualidade dos dados.
Exemplos de métricas de qualidade de dados que você pode implementar
As dimensões que apresentamos acima permitem medir a qualidade de seus dados e seus esforços de um ponto de vista quantitativo. As métricas de qualidade de dados que vamos apresentar a vocês agora permitirão que adotem uma abordagem mais qualitativa em paralelo. Aqui estão alguns exemplos:
- Indicadores de satisfação, obtidos através de pesquisas ou enquetes, que permitem medir a satisfação de seus funcionários com os dados disponíveis para eles.
- Indicadores de produtividade, tais como a evolução da porcentagem de vezes que o departamento de governança de dados detecta e elimina projetos ou iniciativas redundantes.
- A medição dos riscos e oportunidades. Por exemplo, os benefícios gerados pela qualidade dos dados ou os riscos materializados pelo uso de dados problemáticos.
- Avanços na análise competitiva relacionada com a melhoria da disponibilidade ou da qualidade dos dados.
3 fontes de problemas de má qualidade de dados
Limpar dados, corrigir erros, preencher dados faltantes, verificar a precisão dos dados são muito importantes. Mas, como em todos os lugares, é melhor prevenir do que remediar, identificando os problemas em suas raízes. A correção de problemas em sua fonte ajudará a evitar dados de má qualidade. Nunca esquecer que manter a qualidade dos dados não é um trabalho único. É um processo contínuo e sem fim.
Fonte nº 1: Fusões e aquisições
Quando duas empresas se juntam, seja uma fusão (uma entidade sendo assumida pela outra) ou uma aquisição (uma sendo assumida pela outra), os dados seguem o mesmo padrão e são postos em contato ou mesmo fundidos. Assim como quando duas pessoas que tiveram filhos de um sindicato anterior se juntam, podem surgir complicações. Por exemplo, é possível, e até mesmo provável, que as duas empresas utilizem sistemas de dados completamente diferentes, métodos de coleta de dados diferentes. É até possível que uma das entidades possua um banco de dados cheio de erros. É aconselhável estabelecer uma matriz de vencedores perdedores que permita decidir, a cada entrada de dados, qual deles deve ser considerado “verdadeiro”. Este tipo de matriz pode, é claro, ser muito complexa e incompreensível.
Se você for confrontado com esta situação, se uma fusão ou aquisição estiver prestes a ocorrer, coloque o departamento de TI em torno da mesa para antecipar dificuldades futuras e formular um plano de ação antecipadamente – mesmo antes da assinatura.
Fonte nº 2: Migrando de um sistema de informação para outro
Para um usuário não técnico, pode ser complicado entender as dificuldades inerentes à mudança dos sistemas de computador. No entanto, é uma operação muito complexa. A transição de um sistema para outro pode ser muito complicada.
Algumas empresas vêm utilizando os mesmos sistemas de gerenciamento de banco de dados há décadas. Para estas empresas, o momento da migração é muitas vezes muito difícil. Isto está ligado às características técnicas dos sistemas de informação. Um sistema de TI é composto de três partes:
- Um banco de dados (= os dados).
- As regras postas em prática e utilizadas para interpretar os dados
- A interface do usuário, que determina como os dados são apresentados àqueles que os manipulam (os usuários).
Cada um desses três aspectos pode causar dificuldades ao migrar de um sistema de TI para outro. O foco geralmente é a estrutura de dados. Asseguramos que esta estrutura seja preservada. Esta é a abordagem errada, porque as regras de operação são muitas vezes muito diferentes de um sistema de computador para outro. O resultado é que, após a migração, os dados estão incorretos aos olhos dos usuários, embora ainda possam estar corretos de um ponto de vista estritamente técnico.
Nosso conselho: no contexto de uma migração, não é suficiente que sua equipe de transição seja especialista em um ou outro sistema. Eles precisam estar muito familiarizados com ambos os sistemas para garantir uma transição suave.
Fonte nº 3: Erros do usuário
Este é um problema que provavelmente nunca será totalmente resolvido, pois sempre haverá humanos fazendo a entrada de dados e o erro é humano. Todos fazem erros de digitação com regularidade. Isto deve ser reconhecido e levado em consideração. Até os especialistas encarregados da limpeza de dados fazem erros de digitação! Se não podemos transformar as pessoas em robôs infalíveis, nosso conselho mais simples é criar formulários que sejam fáceis de preencher. Desta forma, os erros de digitação podem ser significativamente reduzidos.
Em um momento de explosão no volume de dados utilizados pelas empresas, em um momento de Grandes Dados e a multiplicação dos pontos de contato entre a empresa e seus clientes/usuários, a criação de um mecanismo de gerenciamento da qualidade dos dados é uma tarefa essencial. Esperamos que este guia tenha lançado alguma luz sobre certos pontos e fornecido respostas a perguntas que você possa ter tido.
