Se você estivesse fazendo uma lista de termos de TI que as pessoas adoram usar, mas muitas vezes têm dificuldade de definir com precisão, modern data stack certamente seria um bom candidato. Embora hoje se fale bastante sobre a importância de modernizar as arquiteturas de dados para trabalhar com informações de forma mais eficiente, entender exatamente como é um modern data stack — ou o que o diferencia de arquiteturas tradicionais — pode ser um grande desafio para organizações que buscam modernizar sua abordagem de dados.
Não posso afirmar que sou o árbitro da definição oficial de modern data stack, até porque não existe uma definição oficial. No fim das contas, trata-se de um conceito relativamente subjetivo. Ainda assim, como alguém com ampla experiência no universo da gestão moderna de dados, gosto de acreditar que entendo bem como as arquiteturas de dados evoluíram na última década — e o que realmente define um modern data stack.
Por isso, gostaria de compartilhar uma perspectiva sobre o que esse conceito realmente significa. Para isso, começo revisitando brevemente a história das arquiteturas de dados e, em seguida, apresento as principais características de um modern data stack.
Uma (muito) breve história das arquiteturas de dados
Uma data stack é o conjunto de ferramentas que uma organização utiliza para coletar, processar, analisar, interpretar e armazenar informações digitais. Como as empresas trabalham com dados digitais há bastante tempo — desde pelo menos as décadas de 1980 ou 1990 em muitos casos — as arquiteturas de dados já existem há várias décadas.
Nos primeiros anos da era dos dados digitais, a maioria das data stacks era composta por plataformas projetadas como soluções completas, capazes de cobrir todo o ciclo de coleta, análise e armazenamento de dados. Em geral, eram soluções executadas on-premises, que exigiam conhecimentos técnicos altamente especializados para serem gerenciadas.
A partir dos anos 2000, as organizações começaram a migrar para a nuvem, o que provocou transformações rápidas na forma como desenvolviam e implantavam software. As arquiteturas de dados, porém, ficaram para trás. Muitas empresas permaneceram presas a plataformas de dados legadas e on-premises até bem dentro da década de 2010.
Essa mudança ocorreu de forma lenta e incremental, com as empresas substituindo gradualmente partes de suas arquiteturas legadas por soluções mais modernas. Na maioria das organizações, a jornada rumo a um modern data stack começou com a adoção de data warehouses, que tornaram o armazenamento de dados muito mais flexível e escalável. Depois vieram ferramentas de processamento de dados baseadas em nuvem, que eliminaram a dependência de infraestrutura on-premises para transformação e análise de dados. Por fim, soluções também baseadas em nuvem para catalogação, visibilidade e governança de dados passaram a ser amplamente utilizadas, completando a transição para arquiteturas de dados totalmente modernas.
As características que definem o Modern Data Stack
Agora que você conhece o processo histórico que levou muitas organizações a implementar arquiteturas modernas de dados — e os principais tipos de ferramentas que compõem esse ecossistema — vale entender o que realmente diferencia esse modelo das arquiteturas de dados “não modernas”.
Para mim, as principais características distintivas de um modern data stack incluem:
- Seleção modular de ferramentas: Em vez de ficarem presas a uma plataforma completa de gestão de dados oferecida por um único fornecedor, as arquiteturas modernas permitem que as organizações combinem diferentes soluções. Por exemplo, uma empresa pode usar um data warehouse de um fornecedor e uma ferramenta de processamento de dados de outro.
- Arquitetura centrada na nuvem: No modern data stack, os dados vivem e são gerenciados na nuvem por padrão. Cargas de trabalho on-premises ainda são suportadas, naturalmente, mas a nuvem se torna o ambiente predominante.
- Processos ágeis: Assim como no desenvolvimento moderno de software — onde a filosofia ágil domina há décadas — os processos de gestão de dados também seguem princípios ágeis: são flexíveis, iterativos e adaptáveis.
- Colaboração: Da mesma forma, o modern data stack favorece uma abordagem colaborativa, permitindo que diferentes grupos de stakeholders trabalhem com dados usando um conjunto centralizado de ferramentas. Esse modelo viabiliza o DataOps, que aplica ao universo da gestão de dados princípios semelhantes aos do DevOps.
O futuro do Data Stack
Essas são as características que tornam o modern data stack tão valioso para as empresas atualmente — e ajudam a explicar por que, apesar de algumas afirmações de que esse modelo estaria se tornando irrelevante (em grande parte por conta da ideia de que a IA generativa reduziria a importância da gestão e interpretação tradicional de dados), o modern data stack como o conhecemos dificilmente vai desaparecer tão cedo.
Na verdade, no meu trabalho ajudando empresas a modernizar suas arquiteturas de dados, tenho observado um interesse cada vez maior por parte das organizações em investir em tecnologias associadas ao modern data stack. A IA generativa pode estar em alta, mas é em soluções de data warehousing, processamento, visibilidade e governança de dados que as empresas estão realmente investindo.
Defina o que Data Stack significa para a sua empresa
Em certa medida, o significado de modern data stack depende do ponto de vista de quem o observa. Ainda assim, existem diferenças claras entre as ferramentas modernas de gestão e governança de dados e aquelas utilizadas em décadas anteriores. Sob essa perspectiva, o modern data stack é muito mais do que apenas um buzzword. Ele se tornou um elemento essencial para ajudar as empresas a extrair mais valor de seus dados.
