-
-
Data de publicação
Eu ainda me lembro da primeira vez que me deparei com a dbt Labs. Foi em algum momento em meados de 2019 e, como a maioria das consultorias de dados na época, nosso trabalho era focado em pipelines de ETL baseados em código, utilizando infraestrutura de nuvem de baixo nível, como se via nos blogs de engenharia de startups. Fazer ETL com código, antes do dbt, exigia engenheiros de dados experientes. Como uma consultoria relativamente pequena em um mercado de engenharia de dados extremamente aquecido, tínhamos dificuldade para escalar o time sem adotar uma abordagem diferente. Além disso, a maioria da equipe não tinha formação em engenharia naquele momento. Nosso CTO era firme quanto à aplicação de boas práticas de engenharia de software em projetos de dados, baseado na experiência que tinha com pipelines de big data em seu trabalho anterior. Depois de ler alguns dos posts de Tristan Handy sobre Analytics Engineering e dbt, ficou claro para nós que o dbt era a peça que faltava, capaz de permitir que nossos analistas trabalhassem como engenheiros ou, em outras palavras, se tornassem analytics engineers.
Olhando em retrospecto, o genial nas primeiras versões do dbt não estava na complexidade do código ou nas funcionalidades, mas sim na simplicidade. A maioria das ferramentas legadas de ETL, como Informatica ou Pentaho, voltadas para profissionais fora da engenharia, eram pesadas, cheias de funcionalidades distraídas e, o pior, praticamente ignoravam boas práticas de engenharia de software, que são indispensáveis no trabalho moderno com dados. Por outro lado, trabalhar com plataformas modernas como Snowflake e Databricks exige um nível técnico muito mais profundo do que o que a maioria dos analistas de dados possui — o que tornava esse território exclusivo para engenheiros de dados. Isso significava que, apesar das empresas conseguirem construir pipelines de dados em uma velocidade muito superior à permitida pelas tecnologias anteriores, havia uma limitação real na escalabilidade da área de dados: havia poucos profissionais capazes de trabalhar nessas plataformas. E pior: muitos engenheiros de dados não gostam de conversar com usuários de negócio, ou sequer de escrever queries em SQL. Com isso, a área de dados acabava inevitavelmente distante das frentes onde realmente se gera valor com dados: as áreas de negócio.
Apesar de o dbt ainda estar em seus estágios iniciais, em poucos meses, criamos uma prática de engenharia de analytics totalmente nova com base nele, composta por profissionais sem formação em engenharia de software, mas com excelentes habilidades analíticas. Para acelerar esse movimento, desenvolvemos nosso curso de engenharia de analytics, aberto ao público e que, desde então, já treinou mais de 1.000 engenheiros de analytics que trabalham para a Indicium, para nossos clientes ou em várias outras empresas. Até o momento, estamos entre os principais parceiros certificados do dbt em todo o mundo. Não há dúvida de que o dbt é algo importante para qualquer equipe de dados moderna.
E quanto ao dbt Cloud?
Bom, para muitos dos primeiros usuários como nós, o dbt Core já era mais do que suficiente para o que precisávamos. Além disso, muitos dos recursos lançados nas primeiras versões do dbt Cloud já tinham sido desenvolvidos pelas nossas equipes de plataforma ou pela própria comunidade open source. Até pouco tempo atrás, em muitos casos, fazia sentido continuar apenas com o dbt Core.E não me entenda mal, muitos desses recursos são essenciais para que o dbt Cloud seja, de fato, uma boa ferramenta. O problema para a dbt Labs era que, à medida que as empresas adotavam o dbt e saíam da “caverna de Platão” da ignorância sobre o modern data stack, surgiam tantas possibilidades de evoluir as boas práticas de plataforma com dbt, que grande parte das equipes se tornavam usuários avançados da ferramenta, o que, na minha visão, nunca foi o público-alvo principal do dbt Cloud. Mas então, quem é?
Acredito que há três personas principais para a dbt Cloud: a) empresas que nasceram no modern data stack e não têm/não querem manter uma grande equipe de dados, b) empresas que querem escalar sua implementação do dbt Core nas linhas de negócios e querem uma ferramenta que lhes permita implementar o gerenciamento de dados e as práticas recomendadas de governança de dados, mantendo a complexidade baixa para equipes de análise LOB menos técnicas e c) empresas que estão relativamente atrasadas na adoção de um data warehouse na nuvem e estão migrando agora para longe da tecnologia de dados legada, como Talend e Informatica. Até agora, algumas dessas pessoas nem sempre se sentiam atraídas o suficiente para adotar e implementar o dbt Cloud. Então, por que acho que isso vai mudar?
Na minha opinião, os novos anúncios da dbt feitos no Coalesce deste ano seguem todos na direção certa. Primeiro, a dbt reconhece que precisa ir além da transformação de dados se quiser ser a ferramenta única para empresas menores e/ou organizações que não contam com um time dedicado de plataforma de dados. Recursos como orquestração, catalogação e até ingestão de dados são essenciais, hoje, todos eles ainda dependem de um conjunto de ferramentas diferentes, que muitas vezes são difíceis de integrar e custosas. A visão da dbt de se tornar um data control plane é promissora e está alinhada com a tendência de consolidação que temos observado aqui na Indicium no espaço do modern data stack nos últimos anos.
Estratégia One dbt
Sem dúvida, o maior anúncio do Coalesce foi a estratégia One dbt. Em primeiro lugar, há um valor real em uma abordagem híbrida de dbt Core e Cloud, com o primeiro sendo desenvolvido por equipes de plataforma ou de estilo CoE, e o segundo focado em equipes LOB menos técnicas. Uma experiência de primeira classe para essa abordagem híbrida no dbt Cloud é imprescindível para muitos de nossos clientes corporativos.
Em segundo lugar, embora a maioria dos recursos avançados do dbt Cloud já tenha sido desenvolvida internamente por usuários avançados do dbt, esse não é o caso da nuvem híbrida e das arquiteturas de malha de dados. Não existe uma única ferramenta ou plataforma que possa lidar com essa prática cada vez mais comum nas empresas, mesmo quando se usa o mesmo provedor de nuvem (por exemplo, plataformas Databricks + Snowflake). Com o Iceberg se tornando o padrão de fato para o armazenamento de dados moderno, há uma oportunidade real para que o dbt se torne a peça que faltava entre essas plataformas de dados, permitindo que as equipes desenvolvam suas ferramentas sem perder a governança e as práticas recomendadas de DataOps.
Por fim, embora exista há muito tempo um dilema entre desenvolvimento baseado em código e abordagens no-code/low-code para transformação de dados, essa é uma funcionalidade essencial para engenheiros com menos familiaridade técnica, e uma demanda muito comum em ambientes corporativos. Ter esse recurso dentro do dbt Cloud, integrado ao ciclo de desenvolvimento do dbt, foi uma decisão acertada da dbt Labs.
Tenho certeza de que o dbt é a ferramenta mais onipresente da plataforma moderna de dados. Mais do que uma ferramenta, o dbt permitiu que as empresas reduzissem a distância entre negócio e dados com o surgimento do papel de Analytics Engineer. Para o dbt Labs, ironicamente, o produto dbt Cloud sofreu com as qualidades do próprio dbt Core. Embora sempre tenha havido empresas para as quais o dbt Cloud era a melhor opção, grande parte do mercado tinha dificuldade em identificar onde o dbt Core deixava a desejar. Com a nova estratégia e os anúncios recentes de produto, o dbt Cloud está resolvendo desafios técnicos reais e atendendo a necessidades de negócio que o dbt Core, sozinho, não consegue suprir. E hoje consigo ver, com clareza, cada vez mais casos em que o dbt Cloud oferece uma vantagem concreta em relação à execução do dbt Core.
Sobre a Indicium
A Indicium é líder global em serviços de dados e inteligência artificial, criada para ajudar empresas a resolver o que importa agora e se preparar para o que vem depois. Com um investimento de 40 milhões de dólares e um time com mais de 400 profissionais certificados, entregamos soluções ponta a ponta ao longo de todo o ciclo de vida dos dados. Nosso framework proprietário, o IndiMesh, impulsionado por inteligência artificial, orienta cada entrega com inteligência coletiva, expertise comprovada e controle de qualidade rigoroso. Líderes de mercado como PepsiCo e Bayer confiam na Indicium para transformar desafios complexos de dados em resultados duradouros.
Entre em contato conosco e descubra como podemos aproveitar o potencial do dbt para acelerar o crescimento de sua empresa.
Mantenha-se conectado
Receba as últimas atualizações e notícias diretamente em sua caixa de entrada.
Artigos relacionados
