Comece pela estratégia e pelas pessoas
Em um mundo perfeito, toda empresa que deseja construir uma plataforma de dados – ou seja, uma infraestrutura para armazenar, processar e gerenciar dados em escala – já teria à disposição uma equipe de cientistas e analistas de dados altamente qualificados, pronta para implementar a plataforma dos seus sonhos.
No mundo real, é claro, poucas empresas contam com esse privilégio. A maioria precisa abordar o desenho e a implementação de plataformas de dados com equipes menores e menos recursos do que o ideal.
A boa notícia é que, como este artigo explica, é possível construir uma plataforma de dados eficaz mesmo nessas condições. Você só precisa das estratégias certas para contornar as limitações que enfrenta.
O que é uma plataforma de Dados e por que sua organização precisa de uma?
Uma plataforma de dados, de forma simples, é a infraestrutura que uma organização utiliza para trabalhar com dados. Plataformas de dados viabilizam o processamento e a gestão eficientes das informações, permitindo que a organização extraia mais valor dos seus dados.
Elas são importantes porque a empresa típica possui grandes volumes de informações, provenientes de diversas origens. Por padrão, esses dados costumam estar em silos, o que dificulta correlacionar diferentes tipos de informação para gerar análises eficazes. Além disso, os dados podem conter erros, inconsistências ou outros problemas que dificultam seu processamento.
As plataformas de dados mitigam esses desafios ao oferecer um repositório centralizado onde a empresa pode armazenar, limpar, analisar e proteger seus dados.
Os desafios que você vai enfrentar
Embora as plataformas de dados desempenhem um papel cada vez mais importante ao ajudar as organizações a extrair o máximo valor de seus dados (algo especialmente relevante para a implementação de novas tecnologias dependentes de dados, como IA), elas também são complexas.
Construir uma plataforma de dados exige enfrentar desafios como:
- Desenhar a arquitetura de dados adequada: Decidir como integrar dados de fontes diversas requer uma compreensão aprofundada dos tipos de dados com os quais você está trabalhando, além dos casos de uso que sua plataforma de dados precisa suportar.
- Selecionar a infraestrutura de dados: Existem diferentes soluções de infraestrutura, como data lakes e data warehouses, para implementar plataformas de dados. No entanto, escolher a opção certa nem sempre é simples; exige compreender não apenas as capacidades técnicas de cada solução, mas também os prós e contras dos diferentes fornecedores.
- Necessidades de governança: Além de consolidar dados, as plataformas modernas precisam aplicar regras de governança relacionadas à segurança e à privacidade. Para criar e aplicar essas políticas, as equipes devem entender quais exigências de governança e conformidade precisam atender, bem como como implementar os controles técnicos necessários para garanti-las.
- Implicações de custo: O custo de construir e operar uma plataforma de dados pode ser significativo, e decisões de design mal planejadas podem levar a gastos excessivos. Implementar a plataforma mais custo-eficiente exige considerar diversos fatores, como os modelos de precificação das ferramentas e plataformas de dados, os custos de armazenamento e transferência de dados e os impactos de diferentes arquiteturas nos custos operacionais.
Para a maioria das organizações, lidar com esses desafios costuma ser difícil, principalmente pela falta de expertise interna em dados. Muitas empresas não possuem especialistas dedicados à área, e aquelas que possuem podem descobrir que seus times de dados não são grandes o suficiente para conduzir, sozinhos, a implementação ou a gestão de uma plataforma de dados complexa.
Como construir uma plataforma de dados, mesmo sem os recursos ideais
O fato de sua organização não contar com um time dos sonhos em dados não significa que você não possa implementar uma plataforma eficaz. Com as estratégias a seguir, é possível construir as soluções necessárias para gerenciar dados da forma que você precisa.
Avalie as competências internas em dados
O primeiro passo é criar uma matriz de competências que identifique quais habilidades em engenharia e gestão de dados já existem na organização. Em alguns casos, você pode descobrir que profissionais que não atuam diretamente em funções centradas em dados possuem conhecimentos que podem contribuir para o desenho e a implementação da plataforma.
Por exemplo, desenvolvedores com ampla experiência em cloud podem ajudar a implementar um data warehouse em nuvem, mesmo que não sejam engenheiros de dados propriamente ditos.
Identifique oportunidades de upskilling
Além de mapear as habilidades atuais, avalie as oportunidades de capacitação para que os colaboradores adquiram novas competências. Pode haver profissionais que ainda não trabalharam com as tecnologias específicas que serão usadas para construir a plataforma, mas que já possuem a base necessária para desenvolver as habilidades exigidas.
Avalie e resolva as lacunas de competências
Depois de entender quais habilidades sua organização possui hoje ou pode desenvolver no curto prazo, você também saberá quais competências estão ausentes, e que precisam ser desenvolvidas.
Reduzir a distância entre as habilidades que seu time tem e as que são necessárias pode envolver a contratação de novos profissionais com a expertise requerida. Também pode significar trabalhar com consultores externos para preencher essas lacunas. No entanto, é importante lembrar que o papel ideal desses especialistas externos não é simplesmente substituir engenheiros que você gostaria de ter, mas não tem. Em vez disso, os consultores devem transferir conhecimento para sua equipe, para que ela se torne capaz de gerir a plataforma de dados de forma autônoma, sem depender indefinidamente de terceiros.
Utilize ferramentas de dados de forma estratégica
Escolher as ferramentas certas também pode ajudar a mitigar o desafio da limitação de expertise interna em engenharia de dados. Plataformas modernas de gestão de dados, como Snowflake e Databricks, oferecem diversas funcionalidades nativas para consolidar dados, gerenciar qualidade e executar partes do processo analítico. Quanto mais essas ferramentas fazem por você, menos sua equipe precisa fazer sozinha.
Isso não significa que implementar uma plataforma de dados seja tão simples quanto adotar um data warehouse ou um lakehouse e encerrar o assunto. Não é, porque, como mencionado, é preciso tomar uma série de decisões relacionadas à arquitetura de dados, políticas de governança, configurações de workflows analíticos e assim por diante. No entanto, escolher a infraestrutura adequada torna essas tarefas mais simples.
Conclusão: adote uma abordagem pragmática para plataformas de dados
As plataformas modernas de dados liberam uma ampla gama de benefícios poderosos para as empresas. Deixar de construir uma porque sua organização não possui o time perfeito de engenharia ou ciência de dados significa abrir mão desses benefícios e perder espaço para concorrentes que conseguem extrair mais valor da gestão moderna de dados.
Em vez disso, as organizações devem avaliar de forma pragmática as capacidades que já possuem para construir uma plataforma de dados, encontrar maneiras de complementar as habilidades que faltam e, ao longo do tempo, utilizar os recursos disponíveis para implementar uma plataforma alinhada às suas necessidades. Também devem, naturalmente, garantir que tenham os recursos de equipe necessários para manter essa plataforma ao longo do tempo – mas deixo esse tema para outra ocasião.
