Gestão ágil de dados: mantenha a flexibilidade sem perder o controle
-
-
Data de publicação
Seguindo o exemplo do mundo do desenvolvimento de software, onde "ágil" tem sido uma palavra da moda há décadas, engenheiros de dados atuais estão falando cada vez mais sobre gerenciamento ágil de dados. Em teoria, as abordagens ágeis para o gerenciamento de dados permitem maior eficiência e confiabilidade, resultando em melhores resultados para engenheiros encarregados do gerenciamento de dados e para empresas que buscam obter valor de seus dados.
Na prática, porém, o gerenciamento ágil de dados nem sempre funciona como planejado, por isso é importante adotar uma abordagem realista e adaptável. A agilidade é uma ótima meta a ser alcançada, mas também é uma área em que as equipes geralmente ficam aquém do esperado.
Permita-me explicar o que o gerenciamento ágil de dados implica, como a realidade geralmente difere da teoria e quais práticas as organizações devem adotar para garantir que obtenham o máximo do ágil e, ao mesmo tempo, controlem suas deficiências.
Comece com o básico
O gerenciamento ágil de dados é uma abordagem de coleta, processamento, análise e geração de relatórios de dados que enfatiza a flexibilidade e a mudança iterativa. Essa é, pelo menos, uma definição básica de gerenciamento ágil de dados. As interpretações específicas sobre o que significa exatamente ágil nesse contexto podem variar, pois ágil é um conceito de alto nível e há muitas maneiras de traduzi-lo em prática real. Mas, em geral, quando você gerencia dados de forma ágil, normalmente se concentra em dividir projetos complexos em partes menores e mais digeríveis e, ao mesmo tempo, prioriza a flexibilidade e a adaptabilidade.
Por exemplo, imagine que você queira analisar dados de vendas para prever tendências futuras. Em uma abordagem ágil, você trataria cada parte do processo - coletar os dados, transformá-los e reestruturá-los, analisá-los e gerar os relatórios resultantes - como um estágio distinto. Você também pode iterar em cada estágio várias vezes para melhorar o resultado em cada passagem.
Isso é diferente de processar e analisar dados ao acaso sem ter uma estratégia sistemática e coordenada desde o início, o que seria o oposto de uma abordagem ágil.
Práticas ágeis de gerenciamento de dados como essas se baseiam nos conceitos centrais do desenvolvimento ágil de software, que divide os projetos de software em vários estágios e prioriza a flexibilidade e a colaboração.
Hora de enfrentar os desafios do gerenciamento ágil de dados
Em teoria, o gerenciamento ágil de dados parece ótimo. Ele promete trazer ordem e eficiência ao que, de outra forma, poderia se tornar um projeto complexo, bagunçado e demorado. Na prática, porém, aplicar os princípios ágeis ao gerenciamento de dados pode ser difícil. Há dois desafios principais:
- Cronogramas imprevisíveis: Você pode planejar um roteiro para o seu projeto de gerenciamento de dados que estabeleça cada tarefa e o tempo que você acha que levará. Mas não é possível garantir que o cronograma projetado será o cronograma real. Tarefas como a criação de infraestrutura de dados ou a configuração de relatórios de business intelligence (BI) são complexas e, muitas vezes, é impossível prever com exatidão o tempo que levarão.
- Qualidade imprevisível dos dados: Se os dados que você está gerenciando forem de baixa qualidade ou de difícil acesso, será necessário investir mais tempo e esforço para transformá-los e analisá-los. Porém, como não é possível determinar a qualidade dos dados com os quais se está trabalhando até que o processo de gerenciamento de dados esteja em andamento, não há como determinar antecipadamente até que ponto os problemas de qualidade dos dados podem atrapalhar sua tentativa de implementar um conjunto consistente de processos ágeis.
O segundo desafio é especialmente notável porque é um fator que distingue fundamentalmente o gerenciamento ágil de dados do desenvolvimento ágil de software. Ao desenvolver um software, você sabe desde o início com o que está trabalhando e, normalmente, pode controlar todas as variáveis significativas (como a linguagem de codificação utilizada e os tipos de infraestrutura de TI configurados).
No entanto, a qualidade dos dados é uma variável desconhecida que muitas vezes não pode ser controlada na análise de dados. A menos que você tenha projetado e gerenciado o processo de geração de dados desde o início - o que raramente é o caso, pois os dados que as empresas querem explorar geralmente foram coletados durante longos períodos, começando antes que elas soubessem exatamente o que queriam fazer com eles - você tem que trabalhar com os dados que tem, e não com os dados que gostaria de ter.
Siga uma abordagem realista para o gerenciamento ágil de dados
Esses desafios não significam que as equipes devam desistir do gerenciamento ágil de dados. Apesar de suas imperfeições, o Agile ainda vale a pena, pois pode ajudar a tornar projetos complexos mais eficientes e consistentes.
Isso significa, no entanto, que os engenheiros devem esperar que seus projetos nem sempre saiam conforme o planejado e devem ser proativos ao lidar com os desafios inerentes a uma abordagem ágil para trabalhar com dados.
Por exemplo, na minha empresa, a Indicium, priorizamos abordagens ágeis para o gerenciamento de dados, mas também praticamos o seguinte para ajudar a gerenciar os riscos.
- Tratar os roteiros de forma provisória: Criamos roteiros para estruturar nossos projetos, mas assumimos que eles são muito provisórios. O fato de termos programado duas semanas para configurar a infraestrutura de dados, por exemplo, não significa que presumimos que isso levará exatamente duas semanas. Pode ser mais longo ou mais curto.
- Criar margens de tempo: Da mesma forma, erramos ao superestimar as tarefas para criar uma margem de tempo extra. Se prevemos que uma tarefa levará dois dias e meio, por exemplo, nós a programaremos para três. Levar menos tempo do que o esperado é muito melhor do que ultrapassar o cronograma.
- Tarefas paralelas: Ao planejar projetos, procuramos executar o maior número possível de tarefas em paralelo. Por exemplo, se pudermos configurar a infraestrutura de dados e, ao mesmo tempo, avaliar a qualidade dos dados, faremos as duas coisas simultaneamente. Alguns processos, como os relatórios de BI, não podem ser realizados até que outros estejam concluídos, portanto, há limitações quanto ao que pode ser feito em paralelo. Mas quando você executa várias tarefas simultaneamente, acelera o projeto como um todo, mesmo que haja atrasos em algumas áreas.
- Comunicação clara com as partes interessadas: Nós nos esforçamos para ser claros e transparentes com as partes interessadas da empresa ao planejar projetos. Enfatizamos que os cronogramas provisórios são apenas isso - provisórios - e os mantemos atualizados sobre as mudanças no projeto à medida que ele se desenvolve. As pessoas que dependem do gerenciamento e da análise de dados para tomar decisões comerciais precisam ter visibilidade de quando a análise será concluída, e deixá-las no escuro - ou enganá-las com promessas de cronograma que você não pode garantir - não é do interesse de ninguém.
Essas práticas possibilitam uma estratégia de gerenciamento de dados que seja ágil e realista. Elas nos permitem criar eficiências no gerenciamento de dados sempre que possível e, ao mesmo tempo, evitar metas ou promessas que não são viáveis de serem alcançadas, pelo menos não sempre.
Em última análise, é disso que se trata o gerenciamento ágil de dados: Transparência e pragmatismo. Como observei acima, simplesmente não é possível controlar suas variáveis no contexto do gerenciamento de dados da mesma forma que no desenvolvimento de software e, como resultado, os engenheiros de dados precisam operar de forma um pouco diferente de seus colegas da engenharia de software quando se trata de aplicar princípios ágeis. Busque a perfeição, mas planeje-se para a impossibilidade de alcançá-la.
Este artigo foi publicado originalmente no The New Stack em 6 de novembro de 2024, com o título 'Agile Data Management Explained and Demystified'.
Sobre a Indicium
A Indicium é líder global em serviços de dados e inteligência artificial, criada para ajudar empresas a resolver o que importa agora e se preparar para o que vem depois. Com um investimento de 40 milhões de dólares e um time com mais de 400 profissionais certificados, entregamos soluções ponta a ponta ao longo de todo o ciclo de vida dos dados. Nosso framework proprietário, o IndiMesh, impulsionado por inteligência artificial, orienta cada entrega com inteligência coletiva, expertise comprovada e controle de qualidade rigoroso. Líderes de mercado como PepsiCo e Bayer confiam na Indicium para transformar desafios complexos de dados em resultados duradouros.
Mantenha-se conectado
Receba as últimas atualizações e notícias diretamente em sua caixa de entrada.
Artigos relacionados
