-
-
Data de publicação
Comece com estratégia e pessoal
Em um mundo perfeito, todas as empresas que pretendem criar uma plataforma de dados - ou seja, uma infraestrutura para armazenar, processar e gerenciar dados em escala - teriam uma equipe de cientistas e analistas de dados qualificados à disposição, prontos para implementar a plataforma dos seus sonhos.
No mundo real, é claro, poucas empresas desfrutam desse luxo. A maioria precisa abordar o projeto e a implantação de plataformas de dados com equipes menores e menos recursos do que seria ideal.
A boa notícia é que, conforme explicado neste artigo, é possível criar uma plataforma de dados eficaz nessas condições. Você só precisa das estratégias certas para contornar as limitações que enfrenta.
O que é uma plataforma de dados e por que sua organização quer uma?
Uma plataforma de dados, definida de forma simples, é a infraestrutura que uma organização usa para trabalhar com dados. As plataformas de dados facilitam o processamento e o gerenciamento eficientes das informações, o que, por sua vez, significa que a organização pode tirar maior proveito dos dados.
As plataformas de dados são importantes porque a empresa típica possui grandes quantidades de informações de diversas origens. Por padrão, essas informações costumam ser isoladas, o que dificulta a correlação de diferentes tipos de dados para conduzir uma análise eficaz. Os dados também podem conter erros, inconsistências ou outros problemas que dificultam o processamento.
As plataformas de dados atenuam esses desafios fornecendo um repositório centralizado onde a empresa pode armazenar, limpar, analisar e proteger seus dados.
Os desafios que você enfrentará
Embora as plataformas de dados desempenhem funções cada vez mais importantes para ajudar as organizações a tirar o máximo proveito de seus dados (o que é especialmente valioso para a implantação de novos tipos de tecnologias dependentes de dados, como a IA), elas também são complexas.
Para criar uma plataforma de dados, é necessário enfrentar desafios como:
- Projetar a arquitetura de dados correta: A escolha de como integrar dados de fontes diferentes requer uma compreensão diferenciada dos tipos de dados com os quais você está trabalhando, bem como dos casos de uso que sua plataforma de dados precisa suportar.
- Seleção de uma infraestrutura de dados: Vários tipos de soluções de infraestrutura, como data lakes e data warehouses, estão disponíveis para ajudar a implementar plataformas de dados. Mas selecionar a oferta certa nem sempre é fácil; isso implica não apenas compreender os recursos técnicos de cada solução, mas também os prós e os contras dos diversos fornecedores.
- Necessidades de governança: Além de consolidar os dados, as plataformas de dados modernas precisam aplicar regras de governança relacionadas à segurança e à privacidade. Para criar e aplicar essas políticas, as equipes precisam entender quais mandatos de governança e conformidade de dados devem ser cumpridos e como implementar os controles técnicos necessários para aplicá-los.
- Implicações de custo: O custo de criação e operação de uma plataforma de dados pode ser significativo, e decisões de projeto inadequadas podem levar a gastos excessivos. A implementação da plataforma mais econômica requer a consideração de vários fatores, como os modelos de preços das ferramentas e plataformas de dados, os custos de armazenamento e transferência de dados e as implicações de arquiteturas de dados variadas para os custos operacionais.
Para a organização típica, o gerenciamento desses desafios tende a ser difícil devido, acima de tudo, à falta de conhecimento interno necessário em dados. Muitas empresas não têm especialistas em dados dedicados e as que têm podem achar que suas equipes de dados não são grandes o suficiente para lidar sozinhas com a implementação ou o gerenciamento de uma plataforma de dados complexa.
Como criar uma plataforma de dados, mesmo sem os recursos ideais
Mas só porque a sua organização não tem uma equipe dos sonhos de especialistas em dados à disposição, não significa que você não possa implementar uma plataforma de dados eficaz. Usando as estratégias a seguir, você pode criar as soluções necessárias para gerenciar os dados da maneira que desejar.
Avaliar as habilidades internas de dados
Uma primeira etapa é criar uma matriz de competências que identifique quais habilidades de engenharia e gerenciamento de dados existem atualmente em sua organização. Você pode descobrir que, em alguns casos, a equipe que não trabalha principalmente em funções centradas em dados possui conhecimentos que podem ajudar no projeto e na implementação da plataforma de dados.
Por exemplo, os desenvolvedores que têm ampla experiência em trabalhar na nuvem podem ajudar a implantar um data warehouse baseado na nuvem, mesmo que não sejam engenheiros de dados propriamente ditos.
Identificar oportunidades de aprimoramento
Além de determinar quais habilidades de dados seu pessoal possui atualmente, avalie as oportunidades para que a equipe adquira conhecimentos adicionais por meio de aprimoramento de habilidades. Pode haver funcionários que ainda não tenham trabalhado com as tecnologias específicas que você usará para criar uma plataforma de dados, por exemplo, mas que tenham o conhecimento básico necessário para adquirir as habilidades de que precisarão para dar suporte a essas tecnologias.
Avalie e aborde as lacunas de habilidades de dados
Depois de saber quais habilidades de dados sua organização possui atualmente ou pode adquirir razoavelmente no curto prazo, você também saberá quais não possui e, portanto, precisa cultivar.
Preencher a lacuna entre as habilidades que sua equipe tem e as habilidades de que você precisa pode envolver a contratação de pessoal adicional que possua os conhecimentos necessários. Também pode ser feito por meio de consultores externos para ajudar a preencher as lacunas de habilidades da sua organização - mas lembre-se de que a função ideal dos especialistas externos não é simplesmente substituir os engenheiros que você gostaria de ter na equipe, mas não tem. Em vez disso, os consultores devem dedicar tempo para transferir as habilidades necessárias para a sua equipe, de modo que ela se torne capaz de gerenciar a plataforma de dados por conta própria, sem torná-lo dependente de consultores indefinidamente.
Aproveite as ferramentas de dados de forma estratégica
A escolha das ferramentas de dados corretas também pode ajudar a atenuar o desafio do conhecimento limitado da engenharia de dados interna. As plataformas modernas de gerenciamento de dados, como a Snowflake e a Databricks, oferecem uma variedade de recursos integrados para consolidar dados, gerenciar a qualidade dos dados e lidar com partes do processo de análise. Quanto mais trabalho essas ferramentas fizerem por você, menos sua equipe terá de fazer por conta própria.
Isso não quer dizer que a implementação de uma plataforma de dados seja tão simples quanto adotar um data warehouse ou um lakehouse e encerrar o dia. Não é porque, como mencionei, você precisa tomar uma série de decisões relacionadas à arquitetura de dados, às políticas de governança de dados, às configurações do fluxo de trabalho de análise de dados e assim por diante. Mas a escolha da plataforma de infraestrutura de dados correta facilita essas tarefas.
Conclusão: Adotar uma abordagem pragmática para as plataformas de dados
As plataformas de dados modernas oferecem uma ampla gama de benefícios poderosos para as empresas. Optar por não criar uma porque sua organização não tem a equipe perfeita de engenharia de dados ou de ciência de dados significa perder esses benefícios e perder terreno para os concorrentes que conseguem tirar melhor proveito do gerenciamento moderno de dados.
Em vez disso, as organizações devem avaliar de forma pragmática os recursos que possuem para criar uma plataforma de dados, encontrar maneiras de complementar as habilidades que lhes faltam e, com o tempo, usar os recursos disponíveis para implementar uma plataforma de dados alinhada às suas necessidades. Elas também devem, é claro, garantir que tenham os recursos de equipe necessários para manter a plataforma de dados ao longo do tempo - mas deixarei esse tópico para outro dia.
Este artigo foi publicado originalmente no Cloud Tweaks em 4 de fevereiro de 2025, com o título 'Criando uma plataforma de dados com a equipe que você tem, não com a equipe que você gostaria de ter'.
Sobre a Indicium
A Indicium é líder global em serviços de dados e inteligência artificial, criada para ajudar empresas a resolver o que importa agora e se preparar para o que vem depois. Com um investimento de 40 milhões de dólares e um time com mais de 400 profissionais certificados, entregamos soluções ponta a ponta ao longo de todo o ciclo de vida dos dados. Nosso framework proprietário, o IndiMesh, impulsionado por inteligência artificial, orienta cada entrega com inteligência coletiva, expertise comprovada e controle de qualidade rigoroso. Líderes de mercado como PepsiCo e Bayer confiam na Indicium para transformar desafios complexos de dados em resultados duradouros.
Mantenha-se conectado
Receba as últimas atualizações e notícias diretamente em sua caixa de entrada.
Artigos relacionados
