Acho que o Databricks entende que as empresas sempre precisarão de diferentes ferramentas de dados por vários motivos. Da mesma forma, a maioria das empresas tem várias nuvens, mesmo quando se esforçam para não ter. Talvez você tenha um contrato SAP de longa duração, sua equipe de risco esteja usando ontologias da Palantir para evitar fraudes ou seu laboratório de pesquisa esteja desenvolvendo um gráfico de conhecimento com base na tecnologia da Altair. Se a Databricks Data Intelligence Platform não pode substituir todas as outras ferramentas do stack, como ela pode ser importante para todas elas? É aí que os formatos Data Lakehouse, Unity Catalog e Open Data entram em ação. 

Embora as empresas aceitem usar várias ferramentas especializadas em Dados e IA, há uma exigência clara: essas ferramentas não podem se tornar silos de dados. Por isso, cresce o movimento de “shift left”, ou seja, antecipar a lógica de processamento de dados para uma plataforma centralizada, capaz de se comunicar de forma fluida com todas as ferramentas utilizadas, mantendo ao mesmo tempo um processo federado de governança e segurança. A plataforma que vencer essa corrida terá muito a ganhar, mesmo que boa parte do armazenamento e do processamento de dados continue distribuída entre diferentes ferramentas. 

Embora não haja um lock-in como era comum nos monólitos das décadas de 1990 e 2000, é evidente que a maioria das organizações desejará manter seu catálogo centralizado e ser capaz de consultar e processar todos os seus dados de diferentes fontes com a maior facilidade possível em uma única plataforma. E essa necessidade é ainda maior com todos os casos de uso avançados de IA que precisam de dados proprietários de alta qualidade para fazer a diferença no mercado.

O Databricks está avançando rapidamente nesse espaço para tornar o Unity Catalog o principal catálogo de dados do mercado, ao lançá-lo como open source e construir integrações com a maioria dos fornecedores corporativos. Há um movimento semelhante acontecendo com os formatos abertos de dados: a integração entre Delta e Iceberg em um único formato desenvolvido pelo Databricks. Ao permitir que empresas e parceiros adotem o Unity Catalog e os formatos Delta/Iceberg como padrões da indústria, a Databricks se posiciona de forma única para se tornar a camada fundamental do stack de Dados e IA, da mesma forma que o CUDA da NVIDIA se consolidou como o formato universal para o desenvolvimento de IA em GPU. Sob essa ótica, fica mais fácil entender por que Databricks não se preocupa em ver clientes utilizando Altair ou Palantir para casos de uso específicos que, teoricamente, poderiam ser desenvolvidos dentro do próprio ecossistema da empresa. Enquanto o trabalho pesado estiver sendo feito na Databricks, ela está vencendo a corrida.

Existem outras áreas do stack de dados em que a Databricks parece confortável em ver seus clientes utilizando parceiros especializados em nichos específicos, mesmo quando há uma alternativa nativa do próprio Databricks. Um bom exemplo disso é o dbt, que ajuda os clientes Databricks a desenvolverem seu data lakehouse de forma padronizada e independente de plataforma. Ao conectar o dbt Cloud ao Databricks, clientes conseguem implementar seus modelos com mais agilidade, o que aumenta o consumo da plataforma, ao mesmo tempo em que mantém os dados e metadados dentro do ambiente Databricks.

Na Indicium, sempre procuramos parceiros que ofereçam o máximo de valor para nossos clientes, mantendo a flexibilidade necessária para criar plataformas de dados de classe mundial e preparadas para o futuro. Os movimentos recentes do Databricks têm sido estratégicos e nos permitem gerar valor real ao lado de outros grandes parceiros, comodbt labs.

Se quiser entender como criar ou aprimorar sua plataforma de dados com alguns desses fornecedores, entre em contato conosco.