-
-
Data de publicação
O gerenciamento eficaz de dados é um desafio para empresas de quase todos os setores. Mas poucas são tão difíceis quanto as do setor de serviços financeiros, em que desafios como tecnologia legada e regulamentações rigorosas contribuem para problemas como silos de dados, dificuldades de modernização de dados e um alto custo na operação de pipelines de dados.
Felizmente, uma abordagem diferente para o gerenciamento de dados - a malha de dados - oferece uma solução. Ao permitir que os serviços financeiros migrarem para um novo tipo de arquitetura de dados, as malhas de dados podem ajudar a resolver alguns dos principais problemas de integração e acesso a dados que têm atormentado o setor há décadas.
O que é malha de dados?
Malha de dados não é uma tecnologia ou arquitetura, mas um paradigma organizacional e operacional projetado para dimensionar dados em empresas complexas. Ele promove a propriedade de dados orientada por domínio, em que as equipes gerenciam seus dados como um produto, usando uma infraestrutura de autoatendimento e seguindo os princípios de governança federada.
Em uma malha de dados, qualquer equipe ou departamento de uma organização torna-se responsável pela qualidade, descoberta e acessibilidade dos produtos de dados que possui. O conceito surgiu há cerca de cinco anos como uma resposta aos gargalos e limitações criados pelas equipes centralizadas de engenharia de dados que atuam como guardiões dos dados.
Historicamente, a maioria das empresas empregava uma equipe de dados centralizada para gerenciar e servir os dados organizacionais. Isso levou a atrasos, silos e desafios de escalabilidade. A malha de dados resolve esse problema distribuindo a propriedade e alinhando as responsabilidades dos dados com os domínios da empresa.
Desafios do gerenciamento de dados no setor de serviços financeiros
Antes de explicar como a malha de dados pode ajudar o setor de serviços financeiros, vamos discutir os desafios de gerenciamento de dados profundamente enraizados e de longa data que o setor tem enfrentado tradicionalmente:
Dados isolados: É comum que departamentos diferentes, como crédito, subscrição, suporte ao cliente e conformidade, armazenem e gerenciem dados em sistemas diferentes. Isso torna difícil para um departamento acessar informações que são "propriedade" de outro.
Tecnologia legada: Algumas empresas de serviços financeiros ainda dependem de mainframes, infraestrutura local e outras tecnologias legadas para armazenar e transformar seus dados. Isso complica o acesso aos dados, além de contribuir para os altos custos da movimentação de dados entre sistemas.
Acesso lento aos dados: Bancos, seguradoras e outras empresas de serviços financeiros geralmente precisam tomar decisões rápidas e baseadas em dados. Mas sua capacidade de fazer isso é limitada quando não conseguem encontrar e acessar rapidamente as informações de que precisam devido a problemas como silos de dados, processos lentos de integração de dados e equipes de engenharia de dados sobrecarregadas que não conseguem responder rapidamente às solicitações.
- Normas rígidas: As organizações de serviços financeiros enfrentam requisitos de segurança e privacidade de dados especialmente rigorosos. Atender a esses altos padrões é difícil (para não dizer caro) quando os dados estão isolados em sistemas diferentes e quando os pipelines de dados incluem plataformas legadas que não possuem controles de segurança modernos.
Em suma, o setor de serviços financeiros tem enfrentado desafios especialmente graves quando se trata de gerenciar e integrar dados. Esses desafios só se intensificaram à medida que o volume de dados que flui dentro das organizações aumentou e os dados se tornaram cada vez mais essenciais para a tomada de decisões de negócios.
Os benefícios do Data Mesh nos serviços financeiros
Ao adotar uma abordagem organizacional baseada no conceito de malha de dados, as empresas de serviços financeiros podem enfrentar vários desafios persistentes em relação aos dados, incluindo atrasos no acesso aos dados, falta de alinhamento entre os dados e as necessidades comerciais, governança inconsistente e o alto custo do gerenciamento de dados em escala.
Melhorar o alinhamento entre os dados e as necessidades comerciais
Em um modelo de malha de dados, a propriedade e a administração dos dados são atribuídas aos domínios de negócios que geram e usam os dados. Isso significa que equipes como as de risco de crédito, conformidade, subscrição ou análise de investimentos podem assumir a responsabilidade de projetar e manter os produtos de dados que atendam às suas necessidades específicas.
Por exemplo, uma equipe de subscrição pode se concentrar em manter perfis de risco de clientes ricos e de alta qualidade, enquanto uma mesa de operações pode priorizar o acesso rápido a fluxos de dados de mercado em tempo real. Esse modelo reduz a dependência de equipes de dados centralizadas e permite que as unidades de negócios respondam mais rapidamente às mudanças nas prioridades ou nas condições de mercado.
Redução de atrasos no acesso e no uso de dados
A malha de dados incentiva definições claras de produtos e propriedade de dados, o que ajuda a reduzir os gargalos geralmente causados pela propriedade fragmentada de dados ou por equipes centrais sobrecarregadas.
Quando combinada com tecnologias de dados modernas, como plataformas nativas da nuvem, camadas de virtualização de dados e ferramentas de orquestração, a malha de dados pode ajudar as organizações a conectar dados entre mainframes legados, bancos de dados locais e sistemas de nuvem.
Por exemplo, um banco pode ter dados de clientes armazenados em uma combinação de sistemas bancários centrais mais antigos e canais digitais mais novos. Com uma abordagem de malha de dados, um gerente de relacionamento não precisa entender onde os dados residem. Em vez disso, ele define quais insights do cliente precisa e a plataforma de dados disponibiliza esse produto de dados com governança e controles adequados.
Suporte à governança consistente de dados
A malha de dados introduz uma estrutura de governança federada, fornecendo orientação e padrões claros para segurança, qualidade e acesso a dados em produtos de dados descentralizados.
Embora isso não elimine a necessidade de uma forte conformidade e supervisão regulamentar, permite que as organizações financeiras apliquem sistematicamente os controles de forma escalonável. Os requisitos de privacidade de dados, como o GDPR ou as regulamentações financeiras locais, podem ser incorporados às definições de produtos de dados, garantindo que os consumidores de dados em todos os departamentos acessem apenas o que lhes é permitido.
Por exemplo, um produto de dados usado pela equipe de marketing pode excluir automaticamente informações de identificação pessoal (PII) com base em políticas definidas centralmente, mas aplicadas no nível do domínio.
Ajudar a gerenciar operações de dados em escala sem custos excessivos
Os modelos tradicionais de gerenciamento de dados em serviços financeiros geralmente dependem de equipes grandes e centralizadas para atender às solicitações de dados em toda a organização, o que gera altos custos operacionais e tempos de entrega lentos.
Ao descentralizar as responsabilidades pelos dados e promover uma propriedade mais clara, a malha de dados pode reduzir o trabalho manual e os esforços repetitivos de integração. Por exemplo, em vez de a equipe de engenharia de dados criar repetidamente extrações personalizadas para diferentes equipes de relatórios ou regulatórias, cada domínio pode autogerenciar seus produtos de dados aprovados, reduzindo o esforço e o atraso.
Essa estrutura permite que as organizações dimensionem as operações de dados à medida que a empresa cresce, sem aumentar proporcionalmente o tamanho ou o custo das equipes de engenharia e análise de dados.
As limitações das malhas de dados para serviços financeiros
Embora a malha de dados ofereça um modelo atraente para lidar com desafios persistentes de dados, sua implementação no setor de serviços financeiros apresenta complexidades distintas.
As barreiras mais significativas são culturais e operacionais. As instituições financeiras são tradicionalmente estruturadas em torno de controles centralizados, processos rígidos e uma mentalidade avessa a riscos. A transição para um modelo em que os domínios de negócios são responsáveis por seus próprios produtos de dados exige mudanças fundamentais nos processos organizacionais, nas funções e nas estruturas de tomada de decisão. O sucesso depende muito de uma forte educação interna, de princípios claros de governança e de suporte organizacional contínuo para garantir que as equipes sejam capacitadas e, ao mesmo tempo, mantenham o alinhamento com os padrões corporativos.
Um segundo desafio importante é a integração com sistemas legados. Muitos bancos, seguradoras e gerentes de ativos operam processos críticos em mainframes ou plataformas locais mais antigas. Conectar esses sistemas a produtos de dados de domínio próprio em uma malha de dados requer conhecimento técnico especializado e planejamento cuidadoso para evitar interrupções.
Por fim, a conformidade regulamentar continua complexa. Embora o modelo de governança federada da malha de dados possa ajudar a incorporar padrões de segurança e privacidade em cada domínio, a responsabilidade de definir e aplicar esses controles é da organização. Para alcançar a conformidade, é necessário um profundo entendimento dos requisitos regulamentares e dos recursos da estrutura de malha de dados.
Sobre a Indicium
Mantenha-se conectado
Artigos relacionados
