Ingestão de dados: veja como funciona na plataforma da Braze

Conheça o lado técnico da ingestão de dados na Braze

Atualmente, a ingestão de dados é a base sobre a qual as marcas podem construir experiências relevantes e altamente personalizadas para clientes em larga escala e em âmbito mundial.

Embora tenhamos visto um grande foco na coleta e na privacidade, a gestão de dados segue igualmente essencial. Afinal, é esse processo que controla como as informações entram e saem dos sistemas digitais para garantir qualidade, consistência e disponibilidade para uso imediato.

Nesse contexto, a prioridade da Braze é facilitar o acesso aos dados com nosso recurso de exportação e ingestão de dados big data.

Portanto, a proposta desse artigo é oferecer uma compreensão mais profunda de como enviar informações para a Braze, sem deixar de lado conceitos fundamentais sobre o assunto. Aqui, você confere:

• o que é ingestão de dados;
• quais os tipos de ingestão de dados;
• quais as etapas da ingestão de dados;
• qual a importância da gestão de dados;
• como funciona a ingestão de dados de big data na Braze;
• o que são os SDKs da Braze;
• o que são as APIs da Braze;
• como enviar dados para a Braze usando arquivos CSV;
• quais as integrações complementares para as ferramentas de ingestão de dados da Braze.

Boa leitura!

O que é ingestão de dados?

A expressão vem do inglês Cloud Data Ingestion, ou CDI, e se refere ao processo que permite a integração e centralização de dados variados provenientes de fontes diversas em uma única plataforma, a fim de prepará-los e torná-los acessíveis para uso pelas empresas em suas estratégias data-driven.

No marketing, por exemplo, a ingestão de dados estruturados e não estruturados assume um papel essencial para aquisição, retenção e fidelização de consumidores.

Isso porque permite que as marcas integrem dados diretamente do seu data warehouse com uma plataforma de orquestração da jornada do cliente, como a Braze, para fins de segmentações adicionais, direcionamento de mensagens e personalização.

Quais os tipos de ingestão de dados?

São três os métodos que definem os diferentes tipos de ingestão de dados:

• em lote, quando os dados são enviados em blocos periodicamente;
• em tempo real, quando chegam imediatamente após o evento;
• baseada em arquitetura Lambda, que combina processamento de streams e lotes para equilibrar velocidade, custo e confiabilidade.

Confira mais detalhes de cada um.

Em lote

Nesse modelo, os dados são reunidos por um período (dia, semana ou mês, por exemplo) e só então processados de uma vez. A abordagem reduz o peso sobre o sistema e permite rodar o processo em horários ociosos, mas não serve para cenários que exigem resposta imediata. Ou seja, apesar de permitir o gerenciamento de grandes volumes de dados, não é a melhor estratégia para usar quando a marca precisa de insights instantâneos.

Em tempo real

Aqui, cada novo dado é recebido e disponibilizado instantaneamente, o que viabiliza análises e ações no momento em que algum evento acontece. Esse método permite acionar mensagens, atualizar perfis rapidamente e personalizar experiências do cliente que são mais sensíveis ao tempo, como carrinho abandonado, onboarding e notificações contextuais.

Baseada em arquitetura Lambda

Esse tipo de ingestão de dados usa os dois métodos anteriores para entregar uma solução mais robusta. Assim, é possível enxergar o que está acontecendo no momento sem abrir mão de um histórico completo e confiável.

Portanto, é ideal para situações em que é necessário agir rapidamente, mas também manter os dados consolidados.

Além de conhecer o que é ingestão de dados e seus tipos, é necessário entender quais as etapas que sustentam o processo.

Quais as etapas da ingestão de dados?

Todo o processo costuma seguir três passos principais:

1. Coleta: captura de dados estruturados e não estruturados de fontes diversas, como apps, sites, ERPs, CRMs ou planilhas;
2. Transformação: limpeza, validação, padronização das informações de forma consistente;
3. Carregamento: insere essas informações na plataforma de destino, garantindo disponibilidade para segmentações, personalizações, análises e automações. Nessa fase, erros e volume são monitorados para manter o fluxo de dados confiável ao longo do tempo.

Com todas as etapas da ingestão de dados concluídas, as informações se convertem em insights valiosos para a tomada de decisões estratégicas para as marcas.

Qual a importância da ingestão de dados?

O processo é importante porque:

• garante acessibilidade via nuvem, disponibilizando dados onde e quando necessário;
• torna as informações acessíveis para diferentes departamentos;
• permite tratamento de big data em alta velocidade;
• simplifica a gestão de dados, com tratamento e disponibilidade em um repositório central;
• traz escalabilidade, pois absorve o crescimento no volume de dados sem perder qualidade de análise;
• reduz custos e aumenta eficiência ao automatizar coleta, limpeza e integração das informações;
• favorece a conformidade, oferecendo proteção e segurança dos dados.

Agora que você já sabe o que é ingestão de dados, seus tipos e etapas, está pronto para ver como funciona o processo na Braze.

Deste ponto em diante, você vai entender qual a importância da ingestão de dados para o contexto de engajamento do cliente, a partir de conceitos e recursos que fundamentam a integração na nossa plataforma.

Acompanhe!

Como funciona a ingestão de dados big data na Braze?

Quando uma sincronização é executada, a Braze se conecta ao data warehouse da sua marca para obter novos dados e atualizar os perfis de usuário a fim de proporcionar experiências mais relevantes e eficazes para seus clientes.

Como o modelo de dados da Braze foi desenvolvido em cima de vetores e atributos aninhados, as marcas conseguem fazer a ingestão de dados estruturados e não estruturados de qualquer fonte compatível com a Braze (armazenamento de arquivos do Amazon S3, Amazon Redshift, Databricks, Google BigQuery e Snowflake e Microsoft Azure).

Ou seja, nossa plataforma de engajamento do cliente tem como base o intercâmbio de dados. Essa arquitetura oferece uma compreensão imediata de como seus usuários interagem (ou não, conforme o caso) com suas mensagens, seu site, seu app móvel e muito mais.

Esse modelo disponibiliza mais informações para os profissionais de marketing mais rapidamente, permitindo que eles aproveitem melhor os dados em ferramentas de personalização e hiperpersonalização que ajudem a oferecer experiências relevantes e de alto valor em diversos dispositivos, plataformas e canais.

Leia mais: Plataforma de dados da Braze: o que é + principais recursos

Veja como é fácil integrar seu warehouse com a Braze

A integração é uma conexão direta, desenvolvida para facilitar de cara o seu trabalho. É muito fácil configurar tudo pelo dashboard da Braze com alguns passos simples, sem precisar saber programar.

O processo é o seguinte:

1. Configure os parâmetros da tabela de dados em seu data warehouse;

2. Acesse as páginas do Snowflake ou Redshift no dashboard da Braze, na seção "Parceiros de tecnologia";

3. Inicie uma nova sincronização de importação entre os dois sistemas;

4. Forneça dados de autenticação de usuário do seu provedor de data warehouse;

5. Defina um nome, um tipo de dado e uma frequência para sua integração;

6. Execute um teste rápido para garantir que os dados em questão estejam todos em ordem.

Depois, é só começar a aproveitar os dados do data warehouse da sua marca para oferecer suporte à personalização diferenciada do usuário e embasar campanhas ricas e responsivas em diversos canais de mensagens digitais (por exemplo, e-mail, SMS e canais móveis e da web).

Como funciona a transformação de dados da Braze?

A partir desse processo, as marcas conseguem desbloquear com facilidade integrações de dados personalizadas para aproveitar melhor as informações, aumentar a eficiência e diminuir a dependência das equipes de tecnologia. Assim, a transformação de dados da Braze consegue oferecer para os profissionais diversas possibilidades de integrações em tempo real.

Das etapas da ingestão de dados, essa é a que permite que as marcas criem e gerenciem integrações de webhooks com qualquer plataforma de terceiros em seu stack de tecnologia que possa enviar webhooks.

Em outras palavras, use qualquer webhook, envie-o para a transformação de dados e escreva um código JavaScript para transformar esse webhook em um perfil de usuário ou atualização de catálogo na Braze.

Saiba mais: Os princípios orientadores por trás da Plataforma de Dados da Braze

Quais os benefícios da transformação de dados da Braze?

Contar com a Braze para gerenciar integrações de webhook e automatizar o fluxo de dados de plataformas externas:

• reduz a dependência em relação a chamadas manuais para a API, ferramentas de terceiros e até mesmo plataformas de dados de clientes;
• oferece um copiloto de IA para facilitar a configuração de webhooks por quem não entende muito de programação;
• permite acesso diretamente no fluxo de trabalho, que lê o webhook recebido e escreve automaticamente o código JavaScript sob medida.

O que são os SDKs da Braze?

Os kits de desenvolvimento de software (SDKs) são conjuntos de ferramentas e blocos de código prontos para incorporar a aplicativos a fim de adicionar novos recursos. Na Braze, fazem a ponte entre o aplicativo ou site do cliente e a nossa plataforma, permitindo criar perfis, registrar eventos e disparar notificações.

Os SDKs são fundamentais para as iniciativas de ingestão de dados de nossos clientes, pois alimentam a plataforma com dados detalhados sobre os atributos e o engajamento dos usuários no app móvel, no site, no app de TV conectada e muito mais.

Afinal, conseguem coletar dados de sessão diferenciados e eventos de usuários em tempo real à medida que os consumidores interagem com seu app/site/etc., viabilizando a segmentação do público, a criação e a entrega de campanhas e jornadas individualizadas de clientes, bem como outros elementos de um programa de engajamento do cliente que realmente funciona.

Como funciona a coleta de dados via SDKs da Braze?

Para usar os SDKs da Braze na coleta de dados, as marcas precisam integrá-los ao próprio app ou site.

Níveis diferentes de coleta de dados exigirão abordagens diferentes para a integração, mas integrar os SDKs da Braze é um processo simples e direto, não exigindo muito suporte da área de TI e com impacto mínimo no tamanho dos apps/sites.

Depois que o SDK é integrado a um app ou site e você determinar quais informações deseja rastrear, o recurso começa a coletar dados de dispositivos e sessões de qualquer pessoa que interaja com a plataforma digital, mesmo que a identidade dela não seja conhecida pela marca.

Ou seja, tanto os chamados usuários “anônimos” quanto os usuários “conhecidos” (ou seja, pessoas que já compartilharam a identidade com a sua marca) terão automaticamente os perfis atualizados em tempo real na Braze.

Quais as vantagens dos SDKs para o marketing?

A identificação de usuários permite que os profissionais de marketing aproveitem a ingestão de dados big data para a segmentação, a personalização e as mensagens disparadas para alcançar até mesmo usuários anônimos, viabilizando uma experiência de marca mais personalizada e significativa em todos os aspectos.

Afinal, os SDKs da Braze são desenvolvidos para lidar com grande volume de dados, com marcas que os utilizam para coletar e agir sobre informações de milhões de usuários ativos diariamente sem ter que se preocupar com a sobrecarga dos sistemas digitais.

Dessa forma, quando um usuário se identifica, as marcas podem usar os dados que coletaram antes da identificação para mapear esse usuário de volta para qualquer outro sistema que ele possa estar usando e, assim, proporcionar uma experiência de marca coesa e contínua, mesmo em diferentes canais, plataformas e dispositivos.

Resumindo, se você quiser coletar, gerenciar e agir com base no engajamento dos usuários, é necessário dedicar um tempo para integrar o SDK da Braze correto. Esse cuidado simplifica e automatiza o processo.

Além disso, a integração ajuda aprimorar suas campanhas, oferecendo até mesmo suporte à ingestão de dados de big data essenciais sobre o cliente.

Contudo, embora os SDKs sejam excelentes para coletar informações diretamente do frontend do seu app ou site, às vezes, você pode precisar fazer a ingestão de dados estruturados e não estruturados de outras fontes, como bancos de dados de fidelização ou seu próprio backend.

Para complementar esse elemento fundamental da estratégia de integração, muitas marcas recorrem às interfaces de programação de aplicativos (APIs).

O que são as APIs da Braze?

São ferramentas projetadas para tratar e responder a solicitações feitas entre sistemas diferentes. Na Braze, as interfaces de programação de aplicativos permitem passar informações de sistemas internos e soluções de terceiros para a nossa plataforma em tempo real, complementando a coleta automática de dados realizada pelos SDKs.

Nossas APIs são capazes de aceitar com flexibilidade dados de praticamente qualquer lugar, desde que estejam bem formatados para serem enviados para a Braze.

APIs para ingestão de dados

Os casos de uso mais comuns relacionados à API são aqueles em que a empresa deseja trazer informações de usuários de outra plataforma de engajamento do cliente ou algum outro sistema para a Braze.

Nesses casos, o jeito mais fácil é aproveitar uma API para fazer uma transferência inicial de dados, criar perfis e carregar os tokens por push dos usuários por meio dos endpoints da API da Braze.

Veja outros casos de uso:

• importar outras informações de usuários que não estão sendo rastreadas pelo seu SDK para a Braze. Podem ser informações do sistema de ponto de venda (PDV) ou outros dados offline que não estejam diretamente relacionados ao engajamento com seu app, site ou mensagens para clientes;
• alterar o ID de usuário externo de um determinado cliente, excluir usuários ou criar aliases de usuários na Braze.

Cuidados ao usar APIs

Embora as APIs sirvam para uma série de casos de uso, é mais provável que sejam afetadas pela escala e pelo volume de seus esforços de ingestão do que os SDKs.

Por conta disso, é importante prestar atenção a quantas chamadas de API estão sendo realizadas e a quaisquer limites de taxa relevantes e limites de tráfego funcional associados aos seus endpoints de API.

Embora os SDKs e as APIs ofereçam suporte à grande maioria das necessidades de ingestão de dados, oferecemos uma terceira forma nativa de transferir informações para a plataforma: a capacidade de carregar arquivos CSV.

Entenda a seguir.

Como enviar dados para a Braze usando arquivos CSV?

Como exemplo prático, temos a coleta de e-mails de usuários em uma planilha do Google, o download dessa planilha como um arquivo CSV e o upload para a Braze para atualizar os perfis de usuários.

Casos de uso para CSV

Como enviar dados para a Braze usando arquivos CSV faz mais sentido para finalidades pontuais ou para equipes que não têm os recursos técnicos para configurar SDKs ou aproveitar APIs, vale a pena conhecer alguns casos de uso para esse recurso, como:

• atualização de perfis de usuários a partir de planilhas do Google ou Excel;
• importação rápida de atributos de usuários, como e-mails ou tokens de push;
• transferência de dados offline ou históricos que não estão disponíveis via SDK/API.

Limitações e recomendações

O upload de CSV pode ser muito útil para transferir informações para a Braze rapidamente, mas essa abordagem não é tão interessante para quem pretende lidar com grandes volumes de dados.

Nesse caso, prefira ingerir dados via APIs ou SDKs.

Como otimizar uploads grandes?

Utilizando uma aplicação serverless da Amazon Web Services (AWS), criada pela equipe Braze Growth e o AWS Lambda, e o S3, os clientes da Braze podem evitar a divisão e o upload manual de grandes arquivos CSV contendo atributos de usuários.

Com essa aplicação, as marcas conseguem fazer upload de arquivos CSV com atributos de usuário, mesmo com mais de 100 MB. Veja como é simples usar essa solução:

1. Armazene o CSV em um bucket S3;
2. Acione automaticamente o Lambda, que processa o arquivo;
3. Envie os dados processados diretamente para a Braze.

Portanto, você não precisa preparar manualmente os arquivos para fazer o upload de grandes arquivos CSV na Braze. O processo se torna mais simples e automatizado, mas não tão simples quanto a transferência de dados para a Braze via SDK ou API.

Por isso, recomendamos que as marcas aproveitem essas ferramentas para transferir atributos de usuário para a Braze, o que torna o processo mais simples e escalável.

Quais as integrações complementares para as ferramentas de ingestão de dados da Braze?

As ferramentas de ingestão de dados da Braze (SDKs, APIs e carregamento de arquivos CSV) são complementadas por integrações diretas com as melhores tecnologias da categoria:

• plataformas de dados do cliente;
• soluções de análise de dados;
• automações do fluxo de trabalho e soluções de ETL reverso.

Plataforma de dados do cliente

As plataformas de dados de clientes (CDP) são projetadas para oferecer mais agilidade de dados ao seu stack de tecnologia de marketing, permitindo que sua marca navegue entre as soluções com mais facilidade, inclusive a Braze.

Essas tecnologias investem na criação de integrações personalizadas com uma ampla variedade de sistemas e plataformas, reduzindo a necessidade de abordagens específicas (como importações de CSV).

Além disso, possibilitam o fluxo contínuo de dados de outras partes de seu stack de tecnologia para a Braze, onde essas informações podem ser aproveitadas nas mensagens para clientes e outras experiências da marca.

Entre essas soluções estão:

• Amperity: oferece visão 360° ativa dos clientes e oferece suporte à gestão de dados contínua em uma ampla variedade de plataformas e tecnologias;
• mParticle: permite aos profissionais de marketing gerenciar dados em todo o stack de crescimento da marca, com jornadas impactantes e coerentes para os clientes;
• Segment: ajuda a coletar, unificar e gerenciar dados primários relacionados a e-mail, web, publicidade, PDV e outras tecnologias;
• Tealium: oferece um ecossistema de integração que abrange fontes e tecnologias de dados da web, mobile e offline.

Soluções de análise de dados

As plataformas de análise de dados são criadas para permitir que as marcas se aprofundem nas informações disponíveis para encontrar insights ocultos, entender melhor as tendências e usar essas descobertas para embasar a criação de futuros experimentos, públicos e segmentos.

Ao se integrarem com a Braze, essas tecnologias possibilitam que as marcas aproveitem os insights e as informações contidas no fornecedor de análise de dados para embasar experiências de marca mais impactantes.

Entre essas soluções estão:

• Amplitude: plataforma de análise criada para ajudar as marcas a crescer por meio de análises robustas de produtos e de comportamento, com foco em compreender melhor o cliente, seus comportamentos e características;
• Looker: plataforma de business intelligence e análise de big data, que permite que as marcas explorem, analisem e compartilhem de forma coesa a análise de negócios em tempo real, possibilitando uma compreensão melhor dos clientes e do ciclo de vida do usuário;
• Mixpanel: solução de análise de dados criada para ajudar as marcas a analisar de tudo, desde conversões e retenção até o uso do produto, sempre pensando em melhorar a experiência do cliente.

Automação do fluxo de trabalho e soluções de ETL reverso

Ao aproveitar a automação do fluxo de trabalho e as soluções de ETL reverso que têm integrações diretas com a Braze, as marcas conseguem automatizar o processo de reformulação de dados para que funcionem dentro da plataforma e passar as informações resultantes para nossa solução de engajamento do cliente.

Entre essas tecnologias estão:

• Census: plataforma de integração que permite trazer para a Braze dados de clientes que estão bloqueados em outras ferramentas ou bancos de dados, sem precisar de suporte da área de TI;
• Rudderstack: permite aos desenvolvedores implementar pipelines de dados de clientes em tempo real de um jeito rápido e fácil entre seus data warehouses e as ferramentas mais importantes para a empresa;
• Hightouch: permite que grandes marcas, como a Auto Trader, criem uma sincronização em tempo real de dados de data warehouses em nuvem, como Snowflake, BigQuery, Redshift e DataBricks, para a Braze, sem a necessidade de auxílio da área de TI, por meio de um processo chamado “ETL reverso”.

“Todas as empresas, sejam startups ou as que figuram na Fortune 500, já estão buscando ter uma única fonte centralizada para os dados dos clientes”, comenta Tejas Manohar, cofundador e co-CEO da Hightouch.

“Com a Hightouch e a Braze, as equipes de marketing conseguem ativar o data warehouse não apenas para gerar relatórios, mas também para oferecer experiências personalizadas aos clientes em tempo real, sem a necessidade de pedir ajuda à área de TI.”

Leve seus dados à ação com a Braze

Como você viu, a ingestão de dados é fundamental para quem deseja aproveitar ao máximo as iniciativas de engajamento do cliente. Afinal, não se trata apenas de centralizar informações, mas de acelerar decisões e criar experiências relevantes para o público.

Com a Plataforma de Dados da Braze, você integra dados de qualquer fonte e alcança o público certo com interações personalizadas para aumentar o engajamento e obter resultados mais robustos.

As diferentes abordagens e ferramentas são projetadas para agilizar e otimizar a integração de dados dos seus clientes à nossa plataforma.

Assim, você pode contar com uma base de dados sólida para segmentação de público, personalização, campanhas disparadas por gatilhos, testes com nuances e muito mais.

Fale com nossos especialistas e veja como transformar seus dados em ações que movimentam seu negócio.