O que torna o data mesh um conceito tão poderoso é o princípio da governança de dados federada.

A grande mudança que o data mesh possibilita é a descentralização dos dados, organizando-os por domínios orientados ao negócio, com cada domínio assumindo a responsabilidade pelos próprios dados e tratando-os como um produto consumido pelo restante da organização.

O processo de descentralizar, democratizar e “produtizar” os dados representa um salto quântico na arquitetura de dados corporativa, abrindo espaço para experimentação e inovação em larga escala.

Mas não é possível simplesmente descentralizar tudo e esperar que a inovação aconteça. Isso geraria caos.

O ingrediente secreto está em adotar uma abordagem federada para equilibrar fontes de dados descentralizadas, que permitem inovação em escala, com uma governança de dados centralizada, que estabelece consistência e colaboração em toda a organização.

O que é federação de dados?

A governança de dados federada em um data mesh descreve um cenário em que os padrões de governança são definidos de forma centralizada, mas as equipes de domínio têm autonomia e recursos para executar esses padrões da maneira mais adequada ao seu contexto específico.

Nesse modelo de governança federada, equipes autônomas de dados por domínio e funções centralizadas de governança colaboram para atender da melhor forma às necessidades de dados de toda a organização. Essa colaboração é coordenada pelo líder central de governança de dados, garantindo uma abordagem coesa em todos os domínios.

Dessa forma, as equipes podem “shift left” na implementação de políticas e requisitos de governança, incorporando-os aos produtos de dados desde as fases iniciais do ciclo de desenvolvimento e, assim, dando início a um programa efetivo de governança de dados. Essa aplicação é um aspecto essencial da governança computacional federada, que busca aumentar eficiência e conformidade ao longo de todo o ciclo de vida dos dados.

Como isso se aplica em um data mesh?

Os dados são descentralizados, com cada domínio assumindo a responsabilidade de ponta a ponta pelos seus próprios dados. Isso significa que cada equipe pode escalar seus processos sem impactar outros times ou domínios.

No entanto, os consumidores provavelmente precisarão de dados provenientes de múltiplos domínios. Por isso, os dados precisam apresentar um alto grau de interoperabilidade, permitindo que os consumidores integrem facilmente diferentes conjuntos de dados de toda a empresa.

Assim, para fazer parte do mesh, cada domínio deve seguir um conjunto de diretrizes e padrões gerenciados centralmente, que determinam como seus dados serão categorizados, gerenciados, descobertos e acessados. Isso inclui contratos de dados, esquemas e outros elementos semelhantes.

Também há uma camada compartilhada de infraestrutura de dados que os domínios podem utilizar para construir seus pipelines a partir de templates previamente aprovados, garantindo segurança e conformidade e evitando que cada equipe precise criar sua própria infraestrutura do zero.

É nesse ponto que entra a governança centralizada, estabelecendo práticas e processos de gestão de dados que asseguram que os dados fornecidos por cada domínio tenham a mais alta qualidade do ponto de vista do consumidor.

Por que a federação de dados é um superpoder

A governança de dados federada permite que bancos de dados autônomos operem dentro de uma estrutura unificada, mantendo sua independência. Isso assegura uma gestão coordenada, aumentando a consistência e a acessibilidade dos dados em sistemas diversos. Diferentemente de modelos puramente descentralizados, que distribuem controle sem uma autoridade central, a governança federada promove colaboração fluida e operações eficientes.

Há alguns motivos principais que tornam a federação de dados tão impactante.

Manter independência, autonomia e responsabilidade

O principal benefício é que os domínios podem operar com alto grau de autonomia.

Eles conhecem seu próprio contexto melhor do que qualquer outra equipe e estão mais preparados para decidir como gerenciar seus dados e como escalar suas operações.

Esse nível de independência também garante alto grau de responsabilidade, pois uma única equipe acompanha um produto de dados desde a produção até o consumo.

O resultado são produtos de dados de alta qualidade, criados de forma escalável e resiliente por equipes que conhecem profundamente seu domínio e são responsáveis pela entrega de ponta a ponta.

Habilitar interdependência e colaboração entre domínios

Apesar disso, os produtos de dados precisam ser utilizáveis pelos consumidores.

É necessário um nível mínimo de interdependência entre domínios, motivo pelo qual padrões governados centralmente são tão críticos.

Questões que afetam todos os domínios devem estar sob uma autoridade mais ampla — possivelmente até um grupo de product owners de domínio — para garantir consistência na forma como os dados são tratados e processados.

Em um data mesh, dados são tratados como produto. Podemos nos inspirar no desenvolvimento de produtos em grandes organizações: idealmente, existem diretrizes centrais incorporadas à arquitetura e aos processos de trabalho, dentro das quais os desenvolvedores têm liberdade para inovar.

O data mesh pode ser estruturado de forma semelhante, com um time de especialistas responsável por definir e manter as “guardrails” de interoperabilidade dentro das quais os domínios operam como julgarem mais adequado.

Governar e consumir dados onde quer que estejam

Quando os domínios operam de forma independente, mas interoperável, torna-se possível governar dados com grande eficácia em qualquer ponto da organização.

Os domínios cuidam dos processos e demandas locais, enquanto um time central garante padrões mínimos de consistência e acessibilidade.

Dados governados dessa maneira se tornam um recurso valioso para os consumidores. Eles podem focar no próprio trabalho, sabendo que dados de alta qualidade e fácil descoberta estão disponíveis e podem ser integrados aos seus projetos sempre que necessário.

Correr atrás de diferentes equipes para descobrir se um conjunto de dados existe, ou se pode ser transformado para atender às suas necessidades, deixa de ser um problema.

Permitir escalabilidade massiva

Quando existe uma malha de nós independentes, porém interoperáveis, governáveis e fáceis de consumir, cria-se um padrão estrutural que pode ser amplamente escalado em toda a organização. Além disso, cada nó pode evoluir no seu próprio ritmo, conforme seu nível de maturidade.

Uma vez bem implementado, o data mesh federado é altamente escalável — uma das maiores vantagens dessa abordagem.

Desafios da federação na governança de dados

Um modelo de data mesh federado exige alto nível de maturidade em dados, pois representa uma forma muito diferente e mais fluida de interação entre domínios e dados quando comparada a abordagens mais centralizadas e hierárquicas.

Mas os principais desafios da federação não são técnicos. O verdadeiro desafio está em federar a cultura e a mentalidade em torno dos dados: as formas de trabalhar e pensar que sustentam essa transformação.

Federar confiança

A organização precisa estar confortável em federar não apenas sua tecnologia, mas também sua confiança.

É necessária uma mudança de mentalidade para garantir que cada domínio tenha habilidades, infraestrutura e controles adequados para atuar com autonomia dentro das diretrizes de interoperabilidade entre domínios.

Há domínios demais para que todos sejam gerenciados individualmente — e isso também contrariaria o objetivo da descentralização. Portanto, é preciso confiar que esses domínios conduzam seu trabalho da maneira que considerarem mais apropriada, o que pode causar desconforto inicial em organizações acostumadas a controle centralizado.

Incentivar uma boa cidadania de dados

Quando cada domínio recebe confiança sobre sua parte do ecossistema de dados, também assume grande responsabilidade.

As organizações devem deixar claro que as novas formas de trabalho existem para facilitar a vida de todos e para o benefício coletivo.

Para que o data mesh tenha sucesso, as pessoas, sejam produtoras ou consumidoras de dados, precisam contribuir ativamente com sua parte da malha de dados.

Encontrar o equilíbrio certo

Imagine que cada domínio tivesse autonomia total para gerenciar seus dados sem qualquer preocupação com consistência ou coordenação entre domínios. O resultado seria desastroso.

Por outro lado, se os domínios dependessem completamente de uma função centralizada para gerenciar e disponibilizar dados, isso criaria gargalos significativos e frearia a inovação.

O desafio é encontrar o equilíbrio adequado para sua organização: permitir que os domínios evoluam e escalem seus dados no próprio ritmo, ao mesmo tempo em que se assegura que os produtos de dados sejam consistentes entre si.

Esse equilíbrio muda ao longo do tempo, à medida que a organização amadurece, e precisa ser constantemente ajustado.

Considerações finais

A federação na governança de dados é o ingrediente secreto que viabiliza o data mesh, permitindo alta autonomia local dentro de diretrizes de interoperabilidade que promovem colaboração intensa entre equipes.

Essa combinação de excelência local com colaboração entre domínios cria uma ampla rede de produtos de dados de alta qualidade, que podem ser utilizados por todas as áreas do negócio para aprimorar serviços existentes ou impulsionar inovação.

Perguntas frequentes sobre governança de dados federada

O que é um banco de dados federado?

Um banco de dados federado é um tipo de sistema de gerenciamento que permite que múltiplos bancos de dados autônomos operem como um único sistema unificado. Diferentemente de bancos de dados centralizados, os bancos federados mantêm a autonomia de cada base individual, ao mesmo tempo em que possibilitam integração e compartilhamento de dados dentro da federação.

Qual é a diferença entre um modelo de dados centralizado e um modelo federado?

Um modelo de dados centralizado consolida todos os dados em um único repositório central, onde são gerenciados e acessados a partir de um único ponto. Esse modelo garante uniformidade, mas pode criar pontos de falha e possíveis gargalos.

Já o modelo federado permite que múltiplos bancos de dados autônomos operem de forma integrada como um sistema unificado. Cada base mantém sua independência enquanto possibilita compartilhamento e integração de dados dentro da federação.

Qual é a diferença entre virtualização de dados e federação de dados?

A virtualização de dados cria uma visão unificada em tempo real de dados provenientes de múltiplas fontes, sem movimentar os dados fisicamente. Ela abstrai os detalhes técnicos de armazenamento, permitindo que usuários consultem e recuperem dados de forma integrada.

A federação de dados, por outro lado, combina dados de diferentes fontes em um único sistema, mantendo a autonomia de cada uma delas.