Em junho de 2024, algo incomum aconteceu no Moscone Center, em San Francisco. Durante a palestra principal de sua conferência, os dois maiores concorrentes no mercado de plataformas de dados anunciaram parcerias estratégicas com a mesma empresa: NVIDIA. À primeira vista, foi uma grande notícia — e teria sido ainda maior se fosse uma parceria exclusiva. Ainda assim, a verdade é que, para a NVIDIA, exclusividade não é necessária. Quando você confia que seu produto é excepcional, tem grande poder para definir como distribuí-lo e quais parcerias fechar. Todo mundo quer IA, e hoje a IA é construída com GPUs da NVIDIA.
O recente anúncio da parceria entre a Altair, empresa de inteligência computacional que faz parte da Siemens, e a Databricks segue o mesmo padrão. Em vez de disputar exclusividade, a Databricks aposta fortemente em parcerias. Isso é uma excelente notícia para clientes que utilizam tanto Altair quanto Databricks em suas arquiteturas de tecnologia.
Conforme anunciado, essa colaboração integra a plataforma RapidMiner da Altair à Databricks Data Intelligence Platform. O objetivo é oferecer aos clientes uma conexão fluida para análise de dados aprimorada, desenvolvimento de IA e recursos de aprendizado de máquina. A parceria permite que os usuários analisem dados dentro da Databricks utilizando as ferramentas da Altair, acelerando a geração de insights e a implantação de aplicações de IA.
Mas por que duas empresas com ofertas de produtos semelhantes no espaço de Dados e IA anunciariam uma parceria? Ainda mais interessante é que, nos últimos meses, a Databricks também anunciou parcerias com SAP e Palantir. Como essas empresas também oferecem um conjunto de ferramentas de plataforma de dados semelhante ao da Databricks, a estratégia pode parecer confusa.
Como as parcerias da Databricks redefinem a colaboração em Dados e IA
Acredito que a Databricks entende que as empresas sempre precisarão de diferentes ferramentas de dados em sua arquitetura por diversos motivos. Da mesma forma, a maioria das empresas opera em múltiplas nuvens, mesmo quando tenta evitar isso ao máximo. Talvez você tenha um contrato antigo com a SAP, sua equipe de risco utilize ontologias da Palantir para prevenir fraudes ou seu laboratório de pesquisa esteja desenvolvendo um grafo de conhecimento sobre a tecnologia da Altair. Se a Databricks Data Intelligence Platform não consegue substituir todas as outras ferramentas da arquitetura, como pode ser relevante para todas elas? É aí que entram o Data Lakehouse, o Unity Catalog e os formatos de dados abertos.
Embora as empresas aceitem utilizar múltiplas ferramentas especializadas em Dados e IA, existe a exigência de que essas ferramentas não se transformem em silos de dados. Por isso, há um movimento para deslocar a maior parte da lógica de processamento de dados para uma plataforma centralizada, capaz de se comunicar de forma fluida com as diferentes ferramentas, mantendo um processo federado de governança e segurança de dados. A plataforma que vencer essa corrida tem muito a ganhar, mesmo que o armazenamento e o processamento continuem distribuídos entre diversas ferramentas.
Embora não exista mais o bloqueio rígido típico dos sistemas monolíticos das décadas de 1990 e 2000, é evidente que a maioria das organizações deseja manter seu catálogo de dados centralizado e conseguir consultar e processar informações de diferentes fontes com a mesma facilidade de uma única plataforma. Essa necessidade se torna ainda mais forte com os casos de uso avançados de IA, que exigem dados proprietários de alta qualidade para gerar diferenciação no mercado.
A Databricks tem avançado rapidamente nesse espaço para tornar o Unity Catalog o principal catálogo de dados, ao disponibilizá-lo como código aberto e construir integrações com a maioria dos fornecedores empresariais. Há um movimento semelhante na integração dos dois principais formatos abertos de dados — Delta e Iceberg — em um único formato desenvolvido pela Databricks. Ao permitir que empresas e fornecedores utilizem Unity e Delta/Iceberg como padrões do setor, a Databricks se posiciona de forma única para se tornar a camada fundamental da arquitetura de Dados e IA, assim como o CUDA da NVIDIA se tornou o padrão universal para desenvolvimento de IA em GPUs. Sob essa perspectiva, é possível entender por que a Databricks aceita que clientes utilizem Altair ou Palantir para casos de uso específicos que poderiam ter sido desenvolvidos dentro de suas próprias ferramentas. Desde que o processamento mais pesado esteja na Databricks, ela está vencendo a corrida.
Existem outras áreas na arquitetura de dados em que a Databricks parece confortável em ver clientes utilizarem parceiros que se destacam em seus nichos, mesmo havendo alternativas nativas na própria plataforma. O dbt é um bom exemplo, ajudando clientes da Databricks a desenvolverem seu Lakehouse de dados de forma padronizada e independente de plataforma. Ao conectar o dbt Cloud à Databricks, os clientes conseguem implantar seus modelos mais rapidamente, aumentando o consumo da Databricks enquanto mantêm dados e metadados dentro da plataforma.
Nós, da Indicium, sempre buscamos parceiros que entreguem o maior valor possível aos nossos clientes, mantendo a flexibilidade necessária para construir plataformas de dados modernas, resilientes e preparadas para o futuro. Os movimentos recentes da Databricks têm sido estratégicos e nos permitem gerar valor real junto a outros parceiros de destaque, como dbt Labs.
Se você quiser entender como construir ou evoluir sua plataforma de dados com alguns desses fornecedores, entre em contato conosco aqui.
