Quando adotamos o dbt como nossa ferramenta padrão de transformação de dados em 2019, não foi por causa do quão avançada a tecnologia era. Foi pela simplicidade e pela experiência para desenvolvedores, que a tornaram uma escolha muito superior em comparação com ferramentas de ETL pesadas ou com a criação de nossas próprias soluções de ELT.
Não estou sozinho ao dizer que o dbt é a principal ferramenta do ecossistema de dados que eu gostaria de ter desenvolvido pela primeira vez. Sua abordagem de engenharia de software aplicada a dados é tão poderosa que nós, junto com milhares de equipes de dados ao redor do mundo, conseguimos escalar nossa prática de engenharia de analytics de forma muito mais eficiente do que conseguiríamos com qualquer outro produto disponível.
O que a aquisição da SDF significa para a evolução e a vantagem competitiva do dbt
Então, por que tanta empolgação em torno da aquisição recentemente anunciada e da futura integração da SDF, “uma cadeia de ferramentas de alto desempenho para desenvolvimento em SQL”, ao dbt? Isso faz diferença para o Analytics Engineer que aprecia o dbt por sua simplicidade? A resposta é sim. E por diferentes motivos.
Primeiro, à medida que os casos de uso do dbt se tornaram mais complexos, ficou evidente que algumas decisões de arquitetura em seu funcionamento interno limitavam parte da experiência do desenvolvedor. O ponto mais importante é que o dbt não é um interpretador de SQL. Em termos simples, ele não entende SQL.
O dbt utiliza uma linguagem de template para adicionar lógica específica da própria dbt ao código SQL escrito pelos usuários. Sem entrar em muitos detalhes (leia aqui o anúncio oficial do dbt Labs para mais explicações), o fato de não possuir um interpretador significa que o dbt não consegue otimizar o código SQL sem executá-lo no banco de dados. Em projetos maiores, isso pode representar dezenas de minutos de tempo desperdiçado a cada execução — ou horas por semana para cada desenvolvedor.
Além disso, equipes de dados com arquiteturas complexas e multiplataforma precisam escrever macros sofisticadas para lidar com variações de SQL específicas de cada banco de dados. Da mesma forma, as migrações de banco exigem muito mais esforço do que exigiriam quando o interpretador da SDF estiver totalmente integrado ao dbt.
Em segundo lugar, há também um movimento competitivo. Outras empresas passaram a oferecer ferramentas semelhantes ao dbt já com interpretadores de SQL integrados, o que torna essa aquisição uma decisão estratégica defensiva por parte do dbt Labs. Com um interpretador de SQL de alto desempenho, uma comunidade ampla e adoção corporativa em rápido crescimento, o dbt se consolida ainda mais como o padrão de fato em transformação de dados.
A verdadeira aposta em IA: por que o futuro do dbt vai além de SQL mais rápido
Por fim, há a inteligência artificial. A SDF permite que desenvolvedores do dbt utilizem sugestões de SQL no estilo IntelliSense, semelhantes ao preenchimento automático presente em ambientes de desenvolvimento, algo já comum em outras linguagens de programação. Esse recurso oferece sugestões automáticas de nomes de tabelas e colunas conforme o usuário digita.
Além disso, a SDF consegue interpretar o SQL localmente e identificar sua semântica, tornando o desenvolvimento de pipelines de dados com apoio de IA generativa muito mais seguro. Isso significa que desenvolvedores podem usar modelos de linguagem avançados para escrever modelos em dbt enquanto contam com a capacidade de análise da SDF para detectar possíveis problemas — como alucinações, falhas de qualidade de dados ou riscos de segurança — antes que qualquer consulta seja enviada ao banco de dados.
Mais importante ainda, com a camada semântica do dbt, é provável que a ferramenta se torne o meio pelo qual usuários possam interagir com dados em linguagem natural, mantendo semântica e governança — algo amplamente prometido pelo mercado, mas raramente entregue na prática.
Em outras palavras, embora a SDF já represente um avanço significativo para o desenvolvimento no dbt, existe uma oportunidade ainda maior caso o dbt se consolide como a camada semântica orientada por IA para analytics. Como operar uma camada semântica exige um servidor, essa abordagem pode abrir um novo espaço para o dbt Cloud, com foco maior em usuários de negócio, e não apenas em engenheiros de analytics.
Ainda não está totalmente claro como a integração entre dbt e SDF será implementada na base de código — inclusive com diferenças já anunciadas entre o dbt Core e o dbt Cloud. De todo modo, Tristan Handy garantiu que todos os usuários do dbt se beneficiarão dessas melhorias. Independentemente do formato final, podemos esperar que o dbt se consolide como um mecanismo de transformação de dados ainda mais robusto para a era da inteligência artificial.
