Como dimensionamos nossa plataforma de dados de maneira eficiente e confiável

O Nubank é um dos maiores bancos digitais do mundo, com 35 milhões de clientes na América Latina em abril de 2021. Seus produtos vão desde cartões de crédito e empréstimos até contas bancárias e seguros de vida. Os dados são uma parte inerente de cada decisão: nós os utilizamos para análise, monitoramento, automação e personalização de produtos.

À medida que a empresa crescia, continuávamos evoluindo nossa organização de dados para atender às suas necessidades. Primeiro, criar uma equipe central para construir a infraestrutura de dados. Segundo, descentralizar a criação e o consumo de dados para usuários em equipes multifuncionais (esquadrões). Terceiro, aumentar o âmbito e o pessoal da equipe central para fornecer ferramentas e padrões a toda a empresa.

Por ser uma plataforma de autoatendimento, a propriedade dos dados foi distribuída em todas as unidades de negócios (BUs); no entanto, não estava claro quem era o responsável pela manutenção e pela aplicação desses novos padrões. 

No entanto, manter dados de qualidade foi fundamental para todos os produtos e relatórios que deles dependem, bem como para a eficiência das equipes que consomem esses dados diariamente.

Precisávamos resolver esse desafio: como podemos garantir que nossa estrutura organizacional reflita as metas de agilidade e qualidade de dados da empresa?

Neste artigo, compartilharemos com você: 

1 – Os desafios de governança de uma plataforma de dados de autoatendimento

2 – Projetar uma organização híbrida para dimensionar a inovação com garantias de qualidade

3 – Implementação e impacto

Parte 1: Os desafios de governança de uma plataforma de dados de autoatendimento

Check our job opportunies

Controles de qualidade vs. baixo atrito

O objetivo de uma plataforma de dados é promover a inovação com uma maneira fácil de usar e eficiente de encontrar, usar, adicionar e criar dados.

Ela precisa fazer isso ao mesmo tempo que limita qualquer risco que possa advir dos dados, seja a qualidade das contribuições e dos metadados, a segurança e proteção de quaisquer dados pessoais e confidenciais, a integridade do processamento de dados ou os custos de processamento.

Em nossa plataforma, decidimos fornecer uma experiência de baixo atrito para adicionar tabelas aos nossos pipelines de dados. Isso resultou na criação de muitas tabelas – em abril de 2021, tínhamos 35 mil tabelas não brutas criadas por 500 colaboradores em todos os esquadrões da empresa – e muitas oportunidades aproveitadas graças a esses dados. 

No entanto, embora não quiséssemos impor regras de qualidade rigorosas a todas as contribuições, esperávamos que os dados principais aplicassem os nossos padrões e ferramentas de alta qualidade, para controlar os riscos e melhorar a eficiência dos consumidores de dados.

A principal complexidade reside em definir e atribuir essas responsabilidades de qualidade para atingir os nossos objetivos, sem criar burocracia desnecessária.

Propriedade da qualidade dos dados

Conforme explicado em um artigo anterior, a equipe da plataforma de dados iniciou com sucesso uma iniciativa de qualidade de dados criando uma camada de dados de qualidade (“conjuntos de dados principais”), novas bibliotecas para estruturar o código e a documentação e ferramentas para receber alertas sobre anomalias de verificações de qualidade. 

Para dar o exemplo, a equipe central criou os primeiros “conjuntos de dados principais” – meio ano depois, 75% de todos os conjuntos de dados usavam esses conjuntos de dados de alta qualidade. No entanto, o objetivo era focar nas ferramentas da plataforma e entregar a propriedade de conjuntos de dados de alta qualidade às unidades de negócios.

A BU de Dados não tinha experiência no domínio nem capacidade para organizar e manter todos os principais conjuntos de dados, enquanto a maioria das BUs multifuncionais se concentravam em novas aplicações e análises para os seus produtos, em vez de se envolverem em ações de qualidade de dados.

Tínhamos que garantir que a responsabilidade pela implementação da qualidade dos dados não caísse nas mãos da organização.

Conscientização sobre o impacto dos dados

Como a plataforma era de autoatendimento, a maioria das equipes possuía algumas tabelas, criadas com mais frequência por analistas e cientistas de dados. No entanto, as equipes não perceberam necessariamente o impacto que os seus dados poderiam ter sobre os outros; o quanto eles dependiam dos conjuntos de dados de outras equipes; ou quanto tempo foi gasto na análise de dados.

Entendemos que precisávamos fornecer mais visibilidade sobre as responsabilidades e os riscos envolvidos ao criar ou usar um conjunto de dados.

Criamos um painel de visibilidade de governança de dados que mostrava, para cada equipe ou unidade de negócios, as principais métricas para inventário de dados e as principais interdependências que eles tinham upstream e downstream.

Também demos recomendações sobre o que fazer: quais são os conjuntos de dados que você deve manter, criar, revisar, adicionar documentação etc. Além disso, realizamos pesquisas para mostrar o tempo cada vez mais gasto na localização de dados à medida que o inventário de dados crescia em termos de volume e complexidade.

À medida que a importância dos dados se tornou mais mensurável e visível, ficou mais claro que precisávamos de uma equipe responsável para implementar essas recomendações de governança de dados e projetar uma estratégia de dados coerente com cada unidade de negócios.

Parte 2: Projetar uma organização híbrida para dimensionar a inovação com garantias de qualidade

A equipe da plataforma central de dados

A nossa equipe de plataforma de dados concentra-se em fornecer a infraestrutura, as ferramentas e as regras que permitem o consumo e a produção de dados da forma mais eficaz e segura, em vez de criar conjuntos de dados para os consumidores. Ela é responsável pelos objetivos da plataforma de satisfação do usuário, qualidade dos dados, integridade, privacidade e custos.

Consideramos dimensionar a equipe focada na qualidade e estratégia dos dados dentro da equipe central de dados, no entanto, decidimos por uma organização distribuída por dois motivos principais: 

• Primeiro, a empresa possui uma cultura de equipes multifuncionais, o que se mostra muito competente na motivação e nas entregas das equipes. 
• Em segundo lugar, a diversidade e a complexidade dos nossos produtos financeiros aumentaram a importância da especialização no domínio.

A função da Engenharia de Análise

É aí que o capítulo (ou seja, função) do Engenheiro Analítico entra em ação: seu principal objetivo e responsabilidade é definir uma estratégia de dados, criar e manter conjuntos de dados e pipelines, garantindo que sejam robustos, precisos, compatíveis com a proteção de dados e econômicos e bem documentado.

Os engenheiros analíticos estão integrados em equipes multifuncionais, mas se reportam principalmente ao capítulo. Eles são responsáveis por agregar valor às equipes em que estão inseridos, mas também pela qualidade dos dados da empresa como um todo.

Eles não apenas têm as habilidades para traduzir uma necessidade de negócios em uma estratégia de dados com resultados, mas também têm as habilidades de engenharia para criar código robusto, com testes. Eles entendem as complexidades dos pipelines de dados, o impacto das dependências entre conjuntos de dados, bem como a arquitetura de banco de dados e os conceitos de modelagem.

Manter o capítulo unido e ao mesmo tempo integrado em equipes multifuncionais nos permite definir uma estratégia de dados coerente e modelagem em toda a empresa.

Um dos principais aspectos para garantir a qualidade dos dados em toda a empresa, e posteriormente em todas as decisões tomadas sobre eles, foi dimensionar o capítulo de Engenharia de Análise para todas as diferentes unidades de negócios.

Objetivos e responsabilidades compartilhados

A equipe central da plataforma de dados e o capítulo de Engenharia de Análise têm objetivos comuns e responsabilidades compartilhadas para alcançá-los, oficializados em uma política de governança de dados.

Em cada unidade de negócios, a equipe de Engenharia de Análise garante que haja um bom equilíbrio entre priorizar a criação de novos dados para novos aplicativos e ter as garantias de qualidade corretas nos dados que essa equipe possui.

Quanto ao processo e regras de contribuição, também é coordenado por ambas as equipes, e evoluindo as regras conforme a empresa muda.

Mantivemos as regras gerais de contribuição ao mínimo e aplicamos regras mais rigorosas para determinados tipos de conjuntos de dados, como a camada de alta qualidade dos conjuntos de dados principais. Neste caso, os engenheiros analíticos realizam uma revisão mais aprofundada tanto em termos de lógica de negócios quanto de otimização de código, documentação dos conjuntos de dados e suas colunas etc.

Parte 3: Implementação e impacto

Explicando o papel e o impacto

O trabalho dos Engenheiros Analíticos não é necessariamente tão conhecido quanto outras funções, como Analistas de Negócios ou Engenheiros de Software. Portanto, uma parte importante do aumento das responsabilidades de dados em cada unidade de negócios era explicar a importância desse trabalho, criar alguns incentivos para priorizá-lo e contratar engenheiros analíticos.

Ao final de 2020, implantamos com sucesso engenheiros analíticos em várias equipes multifuncionais. Juntamente com as diferentes unidades de negócio, planejamos aumentar a cobertura da engenharia de análise em 2021, duplicando a nossa equipe para mais de 70 engenheiros analíticos.

O impacto são mais dados de qualidade, com mais estrutura, metadados, documentação e cálculos verificados. Isto se traduz em mais eficiência, menos riscos e mais colaboração para os usuários de dados que consomem esses dados selecionados. Além disso, podemos projetar e implementar uma estratégia global de dados coerente, resultando em mais agilidade para criar produtos inovadores e tomar decisões baseadas em dados de forma confiável.

Um exemplo de implementação de sucesso

A unidade de negócios de marketing está enviando comunicações personalizadas para envolver nossos clientes com conteúdo relevante. Analistas de marketing, cientistas de dados, comunicadores e designers estão envolvidos. 

Os dados dos nossos clientes são fundamentais para garantir que os modelos construídos pelos cientistas de dados e as análises dos nossos analistas de marketing sejam precisos. Os engenheiros analíticos da equipe de marketing são responsáveis por projetar a arquitetura das tabelas, nomear e calcular as métricas, documentar e classificar os dados, garantir que todos os dados pessoais sejam tratados com segurança e manter o conjunto de dados para que toda a empresa possa construir sobre isso também.

A integração na BU permitiu aos engenheiros analíticos sugerir soluções adaptadas, obtendo todo o contexto, e fazer parte da organização do capítulo garante que a fiabilidade e a qualidade dos dados são tidas em conta, ao mesmo tempo que minimiza o tratamento de dados pessoais. 

O projeto foi iniciado com sucesso e muitas outras equipes têm acesso à fonte da verdade para comunicações de marketing.

Conclusão

À medida que cresce, uma plataforma de dados não precisa apenas adaptar sua pilha de tecnologia, mas também a organização das pessoas ao seu redor: como as equipes consomem e publicam dados, quem é responsável pela qualidade, integridade, manutenção, custos, experiência do usuário etc. Ao mesmo tempo, o sistema de governança se adapta ao estágio da empresa, à estrutura organizacional e aos objetivos do negócio.

Depois de concentrar nossos esforços em tornar a plataforma de dados simples e fácil de usar, criamos uma organização de dados híbrida para atingir nossos objetivos de governança de dados.
Uma equipe central de plataforma de dados responsável pela infraestrutura, ferramentas e visibilidade. Uma equipe de engenharia de análise, integrada às unidades de negócios, responsável pela qualidade, privacidade e estratégia dos dados. 

Um dos desafios é garantir que todas as BUs tenham incentivos para contratar esses engenheiros analíticos para suas equipes e colaborar na definição de seu roteiro. Até agora, a visibilidade, as ferramentas e os casos de sucesso em muitas BUs convenceram as outras a dimensionar essas capacidades, e estamos entusiasmados com o crescimento da equipe em toda a organização!