Catalogo de Dados
Introdução ao Catalogo de Dados
Um catálogo de dados é um inventário organizado de ativos de dados na organização. Ele usa metadados para ajudar as organizações a gerenciar os dados. Ele também ajuda os profissionais de dados a coletar, organizar, acessar e enriquecer metadados para oferecer suporte à descoberta e governança de dados.
Com mais dados do que nunca, ser capaz de encontrar os dados certos se tornou mais difícil do que nunca. Ao mesmo tempo, também existem mais regras e regulamentos do que nunca – com o GDPR e LGPD (Lei Geral de Proteção aos Dados) sendo os exemplos mais comuns.
Portanto, não apenas o acesso aos dados está se tornando um desafio, mas a governança de dados também se tornou um desafio. É fundamental entender os tipos de dados que você tem agora, quem os está movendo, para que estão sendo usados e como precisam ser protegidos. Mas você também deve evitar colocar muitas camadas em torno dos dados, porque os dados são inúteis se forem muito difíceis de serem usados.
Existem muitos desafios para encontrar e acessar os dados certos. Esses incluem:
-
Tempo e esforço desperdiçados em encontrar e acessar dados
-
Lagos de dados (Data Lakes) se transformando em pântanos de dados
-
Nenhum vocabulário comum de negócios
-
Estrutura difícil de entender e variedade de “dados obscuros”
-
Difícil de avaliar proveniência, qualidade e confiabilidade
-
Nenhuma maneira de capturar o conhecimento que não está documentado dentro da empresa
-
Difícil de reutilizar ativos de conhecimento e dados
-
Esforços de preparação de dados manuais e ad-hoc
A Importância de Dados Confiáveis
Um catálogo de dados corporativos permite o acesso a dados confiáveis e compatíveis em escala em toda a empresa. Ele divide os silos de dados legados e fornece visibilidade abrangente de todos os dados em todo o ecossistema de dados com contexto completo, acelerando os resultados de negócios.
Os Benefícios de Um Catálogo de Dados
A capacidade de reunir dados díspares para responder a perguntas de negócios pode impulsionar a aquisição de clientes, inovação de produtos e otimização de preços, elementos necessários para o crescimento da receita. Uma forte governança de dados é necessária para promover a eficiência operacional em toda a empresa, levando à otimização da cadeia de suprimentos e eficiência de produção, marketing e vendas.
Um catálogo de dados com recursos de governança integrados é fundamental para o avanço de uma empresa orientada a dados. Ele garante que o gerenciamento de todos os dados – incluindo dados de referência – seja consistente, seguro e organizado e atenda às políticas exigidas. Ele reduz o gasto com dados de terceiros e consolida os relatórios em toda a empresa. Ele capacita os usuários de negócios com recursos automatizados, porém diretos, para agilizar decisões de negócios confiáveis.
Como as Várias Funções Dentro da Empresa Podem Fazer o Melhor Uso de Um Catálogo de Dados?
Para ajudar a responder a perguntas de negócios, um Analista de Dados pode aproveitar um catálogo de dados para descobrir, avaliar, colaborar, compartilhar e acessar dados e relatórios de que ele precisa para realizar análises e obter insights. Um catálogo de dados é um local centralizado que fornece acesso rápido aos dados necessários, para que o analista gaste menos tempo pesquisando dados e mais tempo analisando os dados.
Um Cientista de Dados pode usar um catálogo de dados para pesquisar e encontrar facilmente dados para treinar seus modelos ou até mesmo encontrar modelos confiáveis que ela possa usar. Aqui, também, uma localização centralizada é fundamental, permitindo que o Cientista de Dados compre de forma rápida e fácil os dados ou modelos de que precisa, de forma que seu tempo seja liberado para a análise de dados.
Um Arquiteto de Dados pode empregar um catálogo de dados para entender quais dados estão disponíveis na empresa, para que ele possa começar a controlá-los. Ele usa um catálogo de dados para centralizar e organizar informações sobre definições de termos de negócios, qualidade de dados, propriedade, localização, processo, políticas e privilégios de acesso. Além disso, um catálogo de dados pode ajudá-lo a entender quais dados ele deve concentrar seus esforços no gerenciamento e na manutenção. Ele também pode certificar ativos de dados no catálogo para que os usuários de negócios saibam quais ativos de dados podem ser confiáveis.
Recursos Indispensáveis do Catálogo de Dados
Para ser usado em toda a empresa, um catálogo de dados requer governança de dados abrangente e integrada, privacidade de dados e recursos de segurança que promovam a compreensão e a confiança nos dados.
É importante não apenas identificar e catalogar os dados, mas também fornecer contexto em torno dos dados para que os usuários de negócios possam entender se são os dados certos para suas necessidades. Além disso, você deve se certificar de que os dados no catálogo são confiáveis - que ele usa metadados com curadoria de fontes confiáveis juntamente com um processo para certificar os conjuntos de dados, métricas, etc. em uso. Se os usuários de negócios não acharem que podem confiar nos dados do catálogo, eles não os usarão. Os usuários precisam ter a confiança de que podem encontrar o que precisam no catálogo de dados e confiar nele.