No Nubank, implantar modelos de machine learning em um ambiente de produ\u00e7\u00e3o constru\u00eddo principalmente em Clojure apresenta desafios e oportunidades \u00fanicos. <\/p>\n\n\n\n
Este artigo explora os principais t\u00f3picos em torno desse assunto, com foco nos aspectos t\u00e9cnicos da integra\u00e7\u00e3o de modelos de machine learning em um ambiente Clojure-first.<\/p>\n\n\n\n
Continue lendo para saber tudo sobre isso!<\/p>\n\n\n\n
Ao implantar software, especialmente em uma institui\u00e7\u00e3o financeira como o Nubank, a defini\u00e7\u00e3o de software de produ\u00e7\u00e3o vai al\u00e9m do c\u00f3digo. Envolve um ecossistema abrangente que inclui:<\/p>\n\n\n\n
Esses elementos s\u00e3o essenciais para criar um ambiente de produ\u00e7\u00e3o robusto, seguro e em conformidade.<\/p>\n\n\n\n
Em um ambiente de grande escala como o Nubank, onde v\u00e1rias equipes implantam software, padronizar componentes de produ\u00e7\u00e3o \u00e9 fundamental. Essa padroniza\u00e7\u00e3o garante que todas as equipes possam se concentrar em suas tarefas principais sem precisar reinventar solu\u00e7\u00f5es para requisitos comuns, como autentica\u00e7\u00e3o, criptografia e registro de logs.<\/p>\n\n\n\n
No entanto, essa padroniza\u00e7\u00e3o tamb\u00e9m apresenta desafios ao integrar modelos de machine learning, especialmente quando esses modelos s\u00e3o desenvolvidos em linguagens como Python, que n\u00e3o s\u00e3o nativas do ecossistema Clojure.<\/p>\n\n\n\n
O Nubank utiliza predominantemente Clojure para seu c\u00f3digo de produ\u00e7\u00e3o, aproveitando seus recursos robustos e compatibilidade com JVM. O desafio \u00e9 que muitos componentes padronizados no ecossistema Nubank s\u00e3o escritos especificamente para Clojure, dificultando o uso desses componentes diretamente com modelos escritos em outras linguagens, como Python ou at\u00e9 R.<\/p>\n\n\n\n
Uma abordagem inicial para esse desafio foi reescrever componentes essenciais, como autentica\u00e7\u00e3o e criptografia, em Python para suportar os modelos de machine learning. Embora isso tenha permitido alguma integra\u00e7\u00e3o, resultou em altos custos de engenharia e solu\u00e7\u00f5es incompletas, uma vez que era dif\u00edcil acompanhar o r\u00e1pido ritmo de desenvolvimento no ecossistema Clojure.<\/p>\n\n\n\n
Para superar as limita\u00e7\u00f5es da abordagem inicial, o Nubank desenvolveu o padr\u00e3o sidecar. Essa solu\u00e7\u00e3o arquitet\u00f4nica envolve a implanta\u00e7\u00e3o de um servi\u00e7o em Clojure (o sidecar) ao lado do modelo de machine learning. <\/p>\n\n\n\n
O sidecar lida com todas as intera\u00e7\u00f5es com a infraestrutura mais ampla, enquanto o modelo de machine learning se concentra apenas em previs\u00f5es. Algumas das vantagens dessa solu\u00e7\u00e3o incluem:<\/p>\n\n\n\n
O Open Neural Network Exchange (ONNX) \u00e9 um formato de c\u00f3digo aberto projetado para permitir que modelos de machine learning sejam transferidos facilmente entre diferentes frameworks. Esse formato \u00e9 particularmente \u00fatil para garantir interoperabilidade entre modelos desenvolvidos em diferentes linguagens e ambientes.<\/p>\n\n\n\n
O Nubank explorou o ONNX como uma solu\u00e7\u00e3o potencial para integrar modelos de machine learning com a infraestrutura baseada em Clojure existente. O ONNX Runtime, que oferece suporte a v\u00e1rias linguagens de programa\u00e7\u00e3o, poderia permitir que os modelos de machine learning fossem implantados sem a necessidade do ambiente original no qual foram treinados. Aqui est\u00e3o alguns dos benef\u00edcios desse formato:<\/p>\n\n\n\n
O Nubank continua explorando solu\u00e7\u00f5es inovadoras como o ONNX, enquanto mant\u00e9m a estabilidade e a robustez de seu ambiente Clojure-first. <\/p>\n\n\n\n
O padr\u00e3o sidecar continua sendo uma escolha estrat\u00e9gica para integrar modelos de machine learning, com o ONNX sendo considerado para casos de uso espec\u00edficos em que pode fornecer um valor claro para o neg\u00f3cio.<\/p>\n\n\n\n
Ao equilibrar padroniza\u00e7\u00e3o, interoperabilidade e necessidades de neg\u00f3cios, os funcion\u00e1rios do Nubank est\u00e3o encontrando solu\u00e7\u00f5es criativas enquanto permanecem fi\u00e9is \u00e0 base tecnol\u00f3gica da empresa. <\/p>\n\n\n\n
\u00c9 assim que vamos construir o futuro roxo. Isso \u00e9 trabalhar no Nu!<\/p>\n\n\n\n
<\/p>\n\n\n\n