No Nubank DS&ML Meetup #97, os participantes tiveram a oportunidade de aprender mais sobre infraestrutura de dados de streaming. A palestra foi conduzida por Andr\u00e9 Midea, gerente de engenharia do Nubank. <\/p>\n\n\n\n
Com uma trajet\u00f3ria de 15 anos, e evoluindo da engenharia de distributed systems para plataformas pioneiras de streaming, Andr\u00e9 \u00e9 apaixonado por trazer acessibilidade e praticidade para tecnologias complexas de streaming.<\/p>\n\n\n\n
No Nubank, ele desempenhou um papel fundamental no dimensionamento de plataformas de dados e no desenvolvimento de arquiteturas inovadoras, como o Avalanche, que foi reconhecido como o produto interno mais inovador do Nubank em 2024.<\/p>\n\n\n\n
Dados em streaming processam conjuntos de dados cont\u00ednuos e ilimitados, diferente do processamento em batch, que trabalha com conjuntos discretos e limitados. Imagine o streaming como se fosse o tr\u00e1fego cont\u00ednuo, imprevis\u00edvel e constante de uma rodovia, e compare-o ao batch, que \u00e9 programado e definido.<\/p>\n\n\n\n
Enquanto o processamento em batch lida eficientemente com grandes volumes definidos e permite f\u00e1cil otimiza\u00e7\u00e3o, o streaming oferece capacidade imediata de processamento de dados, algo essencial para aplica\u00e7\u00f5es em tempo real. Streams representam sequ\u00eancias de eventos ao longo do tempo, enquanto tabelas s\u00e3o capturas est\u00e1ticas desses streams em momentos espec\u00edficos, mostrando que o processamento batch pode ser considerado um subconjunto do streaming.<\/p>\n\n\n\n
Avalanche \u00e9 a robusta plataforma de streaming do Nubank projetada para simplificar an\u00e1lises em tempo real. Ela aproveita duas tecnologias principais:<\/p>\n\n\n\n
Avalanche integra essas tecnologias, possibilitando r\u00e1pido processamento, an\u00e1lise e entrega de dados cr\u00edticos para decis\u00f5es \u00e1geis e insights imediatos.<\/p>\n\n\n\n
O streaming eficaz depende de dominar conceitos t\u00e9cnicos-chave:<\/p>\n\n\n\n
O encontro examinou detalhadamente aplica\u00e7\u00f5es reais do streaming no Nubank:<\/p>\n\n\n\n
Apesar dos benef\u00edcios, a infraestrutura de streaming enfrenta desafios espec\u00edficos:<\/p>\n\n\n\n
Participantes aprenderam sobre recentes inova\u00e7\u00f5es transformadoras no streaming:<\/p>\n\n\n\n
O Nubank DS&ML Meetup #97 proporcionou insights abrangentes sobre a infraestrutura de dados em streaming, abordando desde conceitos fundamentais at\u00e9 t\u00e9cnicas avan\u00e7adas e aplica\u00e7\u00f5es pr\u00e1ticas. A explora\u00e7\u00e3o detalhada de Avalanche e tecnologias relacionadas refor\u00e7a o compromisso do Nubank com a lideran\u00e7a tecnol\u00f3gica, impulsionando inova\u00e7\u00e3o e efici\u00eancia no setor banc\u00e1rio digital.<\/p>\n\n\n\n
Acompanhe o blog Building Nubank para obter mais informa\u00e7\u00f5es sobre tecnologia e inova\u00e7\u00e3o, e confira nossas vagas de emprego! Vamos construir o Futuro Roxo juntos!<\/p>\n\n\n\n