O que torna a malha de dados um conceito tão poderoso é o princípio da governança de dados federada.

‍

‍

A grande mudança que malha de dados habilita é ser capaz de descentralizar dados, organizando-os em vez disso de acordo com linhas orientadas por domínio, com cada domínio possuindo seus próprios dados, que ele trata como um produto que é consumido pelo resto da organização.

‍

O processo de descentralização, democratização e produção de dados é um salto quântico na arquitetura de dados corporativos que abre as portas para experimentação e inovação massivas.

‍

Mas você não pode simplesmente descentralizar tudo e esperar que a inovação ocorra, haveria um caos.

‍

O segredo é usar uma abordagem federada para encontrar um equilíbrio entre fontes de dados descentralizadas (que permitem inovação em grande escala) e governança de dados centralizada (que fornece a base para consistência e colaboração em toda a organização).

O que é federação de dados?

A governança de dados federada em uma malha de dados descreve uma situação em que os padrões de governança de dados são definidos centralmente, mas as equipes de domínio local têm a autonomia e os recursos para executar esses padrões, mas é mais apropriado para seu ambiente específico.

‍

Nesse modelo de governança federada, equipes autônomas de domínio de dados e governança de dados centralizada as funções colaboram para melhor atender às necessidades de dados de toda a organização. Essa colaboração é organizada pelo líder centralizado de governança de dados, garantindo uma abordagem coesa em todos os setores.

‍

Dessa forma, as equipes podem “mudar para a esquerda” a implementação de políticas e requisitos de governança de dados para incorporá-los a seus produtos de dados no início do ciclo de vida de desenvolvimento, iniciando efetivamente um programa de governança de dados. Esse aplicativo é um aspecto essencial da governança computacional federada, buscando melhorar a eficiência e a conformidade em todo o ciclo de vida dos dados.

‍

Qual seria a aparência disso em uma malha de dados?

‍

Os dados são descentralizados, com cada domínio assumindo a propriedade de seus próprios dados de ponta a ponta. Isso significa que cada equipe pode escalar seus próprios processos sem afetar outras equipes e domínios.

‍

No entanto, é provável que os consumidores precisem de dados de vários domínios, portanto, os diferentes dados de domínio precisam ter um alto grau de interoperabilidade para que os consumidores possam incorporar facilmente uma variedade de conjuntos de dados de toda a empresa.

‍

Portanto, cada domínio, para fazer parte da malha, deve seguir um conjunto de diretrizes e padrões gerenciados centralmente que determinam como seus dados de domínio serão categorizados, gerenciados, descobertos e acessados. Isso abrange coisas como contratos de dados, esquemas e assim por diante.

‍

Isso também inclui uma camada de infraestrutura de dados compartilhada que os domínios podem usar para criar seus próprios pipelines a partir de modelos pré-aprovados que garantem segurança e conformidade (e evitam a duplicação de cada um criar sua própria infraestrutura do zero).

‍

É aí que entra a governança centralizada, estabelecendo práticas e processos de gerenciamento de dados que garantem que os dados fornecidos por cada domínio sejam da mais alta qualidade, do ponto de vista do consumidor.

‍

Por que a federação de dados é uma superpotência

‍

A governança de dados federada permite que bancos de dados autônomos funcionem dentro de uma estrutura unificada, mantendo sua independência. Isso garante o gerenciamento coordenado de dados, aprimorando a consistência e a acessibilidade dos dados em diversos sistemas. Ao contrário dos modelos descentralizados, que distribuem o controle sem autoridade central, a governança federada oferece suporte à colaboração perfeita e às operações eficientes.

Existem alguns motivos principais pelos quais a federação de dados é tão impactante.

‍

Mantenha a independência, autonomia e responsabilidade

‍

O principal benefício é que os domínios podem operar com um alto grau de autonomia.

‍

Eles conhecem seu próprio domínio muito melhor do que ninguém e estão em melhor posição para decidir exatamente como devem gerenciar seus dados e qual a melhor forma de escalar.

‍

Esse nível de independência também garante um alto grau de responsabilidade, pois uma única equipe acompanha um determinado produto de dados desde a produção até o consumo.

‍

O resultado são produtos de dados de alta qualidade que podem ser produzidos de forma escalável e resiliente por equipes que conhecem intimamente seu próprio domínio e são responsáveis pela entrega de ponta a ponta.

‍

Permita a interdependência e a colaboração entre domínios

‍

No entanto, os produtos de dados que os domínios produzem ainda precisam ser usados pelo consumidor.

‍

Deve haver um grau mínimo de interdependência entre domínios, e é por isso que ter padrões governados centralmente é tão importante.

‍

Os problemas que afetam todos os domínios precisam estar sujeitos a uma autoridade mais ampla, talvez até mesmo a uma equipe de proprietários de produtos de domínio, para garantir que os domínios sejam consistentes na forma como lidam e processam dados.

‍

Em uma malha de dados, os dados são vistos como um produto, para que possamos nos inspirar em como o desenvolvimento de produtos é feito em grandes organizações: idealmente, existem certas barreiras de desenvolvimento governadas centralmente que são incorporadas à arquitetura e à forma como as pessoas trabalham, nas quais os desenvolvedores são livres para inovar como quiserem.

‍

A malha de dados pode ser configurada de forma semelhante, com uma equipe de especialistas responsável por organizar e fornecer as “barreiras” de interoperabilidade dentro das quais os domínios podem operar da maneira que acharem melhor.

‍

Governe e consuma dados onde quer que estejam

‍

Quando os domínios estão funcionando de forma independente, mas interoperável, é possível governar os dados com grande eficácia, onde quer que estejam em uma organização.

‍

Os domínios cuidam dos processos e preocupações locais, com uma equipe central garantindo padrões mínimos de consistência e acessibilidade.

‍

Dados que são efetivamente governados dessa forma são uma delícia para os consumidores. Eles podem continuar seu trabalho sabendo que dados de alta qualidade e altamente detectáveis estão disponíveis e podem ser conectados a seus projetos quando necessário.

‍

Percorrer equipes diferentes tentando descobrir se um determinado conjunto de dados existe ou não ou se ele pode ser transformado para atender às suas necessidades se torna coisa do passado.

‍

Permite escalabilidade massiva

‍

Quando você tem uma malha de nós independentes, mas interoperáveis, que podem ser governados de forma eficaz e fáceis de consumir, você tem um padrão fundamental que pode então ser escalado massivamente em toda a organização. Além disso, cada nó pode ser escalado em seu próprio ritmo, dependendo de seu nível de maturidade.

‍

A malha de dados federada, uma vez configurada corretamente, é altamente escalável, o que é uma grande vantagem dessa abordagem.

‍

‍

‍

Desafios da federação de governança

‍

Um modelo de malha de dados federado exige um alto grau de maturidade de dados em uma organização, pois representa uma maneira muito diferente e mais fluida de permitir que os domínios interajam entre si e com os próprios dados do que com abordagens centralizadas e de cima para baixo.

‍

Mas os principais desafios em torno da federação de dados não são técnicos. O verdadeiro desafio está em federar uma malha de dados cCultura e mentalidade: as formas de trabalhar e pensar que devem sustentar essa mudança na forma como lidamos com os dados.

Confiança federativa

Sua organização precisará se sentir confortável em federar não apenas sua tecnologia, mas também confiança. 

‍

É necessária uma mudança de mentalidade para garantir que cada domínio tenha as habilidades, a infraestrutura e os controles necessários para permitir que ele atue de forma autônoma, dentro das barreiras da interoperabilidade entre domínios.

‍

No entanto, existem muitos domínios para gerenciá-los todos individualmente (e isso também anularia o propósito da descentralização!). Esses domínios, então, precisam ser confiáveis para continuar com o trabalho da maneira que acharem melhor, o que algumas organizações acostumadas a um controle mais centralizado podem achar inquietante inicialmente.

Incentivando uma boa cidadania de dados

Quando cada domínio confia em sua peça específica do quebra-cabeça de dados, ao mesmo tempo, esse domínio assume uma enorme responsabilidade.

‍

As organizações devem deixar claro que as novas formas de trabalhar existem para facilitar a vida de todos e para o bem comum da organização.

‍

Para que a malha de dados tenha sucesso, as pessoas, sejam elas produtoras ou consumidoras de dados, precisam contribuir ativamente com sua parte da malha de dados.

Atingindo o equilíbrio certo

Imagine que cada domínio tivesse total autonomia para gerenciar seus próprios dados como quisesse, sem absolutamente nenhuma consideração pela consistência ou coordenação entre domínios. Haveria uma carnificina.

‍

Da mesma forma, se os domínios dependessem totalmente de uma função de dados centralizada para gerenciar e disponibilizar dados, isso se tornaria um grande gargalo e a inovação seria interrompida.

O desafio é encontrar o equilíbrio certo para sua organização específica entre permitir que os domínios evoluam e escalem seus próprios dados em seu próprio ritmo e, ao mesmo tempo, garantir que os produtos de dados resultantes sejam consistentes com outros domínios.

‍

Fundamentalmente, esse equilíbrio mudará com o tempo à medida que a organização amadurece e, portanto, deve ser constantemente ajustado.

‍

Considerações finais

A federação de governança de dados é o ingrediente secreto que possibilita a malha de dados, possibilitando o trabalho local altamente autônomo, mas dentro de barreiras de interoperabilidade que permitem altos graus de colaboração entre todas as equipes locais.

‍

Essa combinação de excelência local e a colaboração entre domínios cria uma enorme rede de produtos de dados de alta qualidade que todos os setores da empresa podem usar para aprimorar os serviços existentes ou promover a inovação.
‍

‍

Perguntas frequentes sobre governança de dados federada

‍

O que significa um banco de dados federado?
‍

Um banco de dados federado é um tipo de sistema de gerenciamento de banco de dados que permite que vários bancos de dados autônomos operem como um sistema único e unificado. Diferentemente dos bancos de dados centralizados, os bancos de dados federados mantêm a autonomia de cada banco de dados individual e, ao mesmo tempo, permitem a integração e o compartilhamento de dados em toda a federação.

‍

Qual é a diferença entre um modelo de dados centralizado e federado?
‍

Um modelo de dados centralizado consolida todos os dados em um único repositório central, onde são gerenciados e acessados de um único local. Esse modelo garante uniformidade, mas pode criar um único ponto de falha e possíveis gargalos.

‍

Um modelo de dados federado, por outro lado, permite que vários bancos de dados autônomos operem juntos como um sistema unificado. Cada banco de dados mantém sua independência e, ao mesmo tempo, permite o compartilhamento e a integração de dados em toda a federação.

‍

Qual é a diferença entre virtualização de dados e federação de dados?
‍

A virtualização de dados cria uma visão unificada e em tempo real dos dados de várias fontes sem mover os dados. Ele abstrai os detalhes técnicos do armazenamento de dados, permitindo que os usuários consultem e recuperem dados sem problemas. Em contraste, a federação de dados combina dados de diferentes fontes em um único sistema, mantendo sua autonomia.

‍

‍

‍

Saiba mais sobre como nos inscrevemos Malha de dados para extrair o valor do seu patrimônio de dados.

Leia mais sobre como ativar a segurança e a conformidade em velocidade e escala com governança de dados federada.