-
-
Data de publicação
Se você fizesse uma lista de palavras da moda em TI que as pessoas adoram usar, mas raramente sabem definir com precisão, modern data stack com certeza estaria nela. Apesar de muita discussão sobre a importância de modernizar o stack de dados para trabalhar com dados de forma mais eficiente, entender exatamente como é um modern data stack — ou o que o diferencia de stacks de dados tradicionais — ainda é um grande desafio para organizações que buscam evoluir na forma como lidam com dados.
Não posso afirmar que tenho a definição oficial de modern data stack, porque ela simplesmente não existe. No fim das contas, é um conceito um tanto subjetivo. Mas, como alguém com ampla experiência na área de gestão moderna de dados, gosto de pensar que entendo bem como os stacks de dados evoluíram nos últimos dez anos e o que realmente caracteriza um modern data stack.
Por isso, quero compartilhar uma visão sobre o que esse termo realmente significa, começando com um breve histórico dos stacks de dados e, depois, explorando as principais características que definem o modern data stack.
Um (breve) histórico dos stacks de dados
Um stack de dados é o conjunto de ferramentas que uma organização usa para coletar, processar, analisar, interpretar e armazenar informações digitais. Como as empresas trabalham com dados digitais há bastante tempo — desde os anos 1980 ou 1990, em muitos casos — os stacks de dados não são uma novidade.
Nos primórdios da era dos dados digitais, os stacks de dados geralmente eram plataformas projetadas para oferecer soluções completas de coleta, análise e armazenamento de dados. Essas soluções, em sua maioria, rodavam localmente e exigiam habilidades técnicas bastante específicas para serem mantidas.
A partir dos anos 2000, as organizações começaram a migrar para a nuvem, o que transformou rapidamente a forma como desenvolviam e implantavam software. Mas os stacks de dados demoraram a acompanhar essa mudança. Muitas empresas seguiram presas a plataformas legadas, locais, até bem depois da metade da década de 2010.
Essa mudança ocorreu de forma lenta e gradual, com as empresas substituindo partes dos seus stacks antigos por soluções mais modernas, uma a uma. Em muitos casos, o ponto de partida foi a adoção de um data warehouse, que tornou o armazenamento de dados mais flexível e escalável. Depois vieram as ferramentas de processamento de dados em nuvem, que libertaram as empresas da infraestrutura local para transformação e análise de dados. Por fim, soluções de catalogação, visibilidade e governança de dados baseadas na nuvem passaram a ser amplamente adotadas, completando a transição para stacks totalmente modernos.
As características que definem o modern data stack
Agora que você conhece o caminho histórico que levou à implementação do stack moderno em muitas organizações e os principais tipos de ferramentas que o compõem, vamos falar sobre o que realmente diferencia esse tipo de solução dos stacks “não modernos”.
Para mim, as principais características que definem um modern data stack são:
- Capacidade de seleção modular de ferramentas: Em vez de ficar preso a uma plataforma de gerenciamento de dados de ponta a ponta de um único fornecedor, o modern data stack permite que as organizações combinem diferentes soluções. Você pode, por exemplo, usar um data warehouse de uma empresa e uma ferramenta de processamento de dados de outra.
- Arquitetura centrada na nuvem: No modern data stack, os dados vivem e são gerenciados na nuvem por padrão. Cargas de trabalho locais ainda são suportadas, claro, mas a nuvem é o foco principal.
- Processos ágeis: Assim como no desenvolvimento de software moderno, onde a filosofia ágil predomina há décadas, os processos de gerenciamento de dados são flexíveis, iterativos e adaptáveis.
- Colaboração: De forma semelhante, o modern data stack permite uma abordagem colaborativa, em que múltiplos grupos de stakeholders trabalham com dados usando um conjunto centralizado de ferramentas. Isso viabiliza o DataOps, a versão do DevOps para o universo de dados.
O futuro do stack de dados
Essas são as características que tornam o modern data stack tão valioso para os negócios hoje — e explicam por que, apesar de algumas opiniões de que ele estaria se tornando irrelevante (em grande parte por conta da ideia de que a IA generativa tornaria menos importante gerenciar e interpretar dados da forma tradicional), o modern data stack como conhecemos não deve desaparecer tão cedo.
Pelo contrário. No meu trabalho apoiando empresas na modernização dos seus stacks de dados, tenho visto um interesse cada vez maior em investir em tecnologias de modern data stack. A IA generativa pode estar na moda, mas data warehouses, ferramentas de processamento, soluções de visibilidade e governança de dados são onde as empresas estão realmente investindo.
Defina o que stack de dados significa para o seu negócio
Em certo nível, o significado do modern data stack depende de quem o define. Ainda assim, há diferenças claras entre as ferramentas modernas de gestão e governança de dados e aquelas utilizadas nas décadas passadas. Sob essa perspectiva, o modern data stack é muito mais do que um jargão da moda. É um componente essencial para ajudar empresas a fazerem mais com seus dados.
Este artigo foi publicado originalmente no The New Stack em 13 de junho de 2024, com o título 'What Does the Modern Data Stack Actually Mean?'.
Sobre a Indicium
A Indicium é líder global em serviços de dados e inteligência artificial, criada para ajudar empresas a resolver o que importa agora e se preparar para o que vem depois. Com um investimento de 40 milhões de dólares e um time com mais de 400 profissionais certificados, entregamos soluções ponta a ponta ao longo de todo o ciclo de vida dos dados. Nosso framework proprietário, o IndiMesh, impulsionado por inteligência artificial, orienta cada entrega com inteligência coletiva, expertise comprovada e controle de qualidade rigoroso. Líderes de mercado como PepsiCo e Bayer confiam na Indicium para transformar desafios complexos de dados em resultados duradouros.
Mantenha-se conectado
Receba as últimas atualizações e notícias diretamente em sua caixa de entrada.
Artigos relacionados
