Databricks Delta Sharing

Ir para o conteúdo

Esta página foi traduzida automaticamente e pode conter imprecisões. Para relatar um erro de tradução, use o componente de feedback na parte inferior do sumário, à direita da página.

O Databricks Delta Sharing permite compartilhar com segurança dados de engajamento e de Campaign da Braze em tempo real no seu ambiente Databricks. Este artigo descreve como o compartilhamento funciona a partir da Braze como provedora de dados para a sua conta do Databricks como destinatária, e como consultar tabelas compartilhadas.

Importante

O Databricks Delta Sharing com a Braze está disponível apenas para clientes hospedados nos nossos clusters dos EUA. O suporte para regiões adicionais está em andamento. Se você tem interesse no Delta Sharing, mas não está hospedado no nosso cluster dos EUA, entre em contato com o seu gerente de sucesso do cliente.

O Databricks Delta Sharing faz parte da Distribuição de Dados da Braze. Para uma visão geral completa das opções de Distribuição de Dados, consulte Distribuição de dados.

Pré-requisitos

Requisito	Descrição
Disponibilidade	Clientes hospedados em nossos clusters nos EUA. Se você tem interesse em Delta Sharing, mas não está hospedado em nosso cluster nos EUA, entre em contato com seu gerente de sucesso do cliente.
Permissões do espaço de trabalho da Braze	Visualizar integrações do Currents para visualizar o Compartilhamento de Dados. Editar integrações do Currents para criar, atualizar ou excluir um compartilhamento Delta.

Para o Databricks, o compartilhamento de dados acontece entre um provedor de dados e um destinatário de dados. Sua conta da Braze é o provedor de dados porque cria e envia o compartilhamento, e sua conta do Databricks é o destinatário de dados porque consome o compartilhamento para criar um catálogo que você pode consultar. Para saber mais, consulte a documentação do Databricks sobre leitura de dados compartilhados usando Databricks-to-Databricks Delta Sharing (para destinatários).

Na Braze, acesse Partner Integrations > Data Sharing > Databricks Delta Sharing.
Insira seu identificador de compartilhamento do Databricks.
Quando terminar, selecione Create Datashare. A Braze envia o compartilhamento para sua conta do Databricks.

Etapa 2: Criar um catálogo no Databricks

Após alguns minutos, você deve receber o compartilhamento de entrada na sua conta do Databricks.

Usando o compartilhamento de entrada, crie um catálogo para visualizar e consultar as tabelas. Por exemplo:

 CREATE CATALOG [IF NOT EXISTS] <catalog-name> USING SHARE braze.<share-name>;

Conceda privilégios para que os usuários e grupos certos possam consultar o novo catálogo.

Aviso

Os dados compartilhados são somente leitura no seu espaço de trabalho do Databricks. Você pode consultá-los como outros dados, mas não pode modificar ou excluir linhas nas tabelas compartilhadas por meio do compartilhamento.

Uso e visualização

Após o compartilhamento de dados ser provisionado, crie um catálogo a partir do compartilhamento recebido para que as tabelas compartilhadas apareçam no seu espaço de trabalho do Databricks e possam ser consultadas como outros dados armazenados ali. Os dados compartilhados permanecem somente leitura.

Assim como o Currents, você pode usar o Databricks Delta Sharing para:

Criar relatórios complexos
Realizar modelagem de atribuição
Compartilhar dados de forma segura dentro da sua empresa
Mapear dados brutos de eventos ou dados de usuários para um CRM (como o Salesforce)
E muito mais

Para uma lista completa de tabelas e colunas disponíveis no Databricks, baixe os esquemas de tabela bruta do Databricks como um arquivo de texto. Este arquivo reflete o esquema do Databricks Delta Sharing (por exemplo, DB_CREATED_AT para o horário de ingestão). Ele não é intercambiável com os esquemas de tabela bruta do Snowflake ou com a referência de tabelas SQL, que descrevem a nomenclatura e os campos do Snowflake.

Nota

Os nomes e tipos de colunas podem diferir do Snowflake Data Sharing (por exemplo, DB_CREATED_AT em vez de SF_CREATED_AT).

Esquema de ID do usuário

Observe as seguintes diferenças entre as convenções de nomenclatura da Braze e do Databricks para IDs de usuário.

Esquema Braze	Esquema Databricks	Descrição
`braze_id`	`USER_ID`	O identificador único que a Braze atribui automaticamente.
`external_id`	`EXTERNAL_USER_ID`	O identificador único do perfil de um usuário que você define na Braze.

Informações importantes e limitações

Disponibilidade

O Databricks Delta Sharing está disponível apenas para clientes hospedados em nossos clusters nos EUA. O suporte para regiões adicionais está em andamento. Se você tem interesse no Delta Sharing, mas não está hospedado em nosso cluster nos EUA, entre em contato com seu gerente de sucesso do cliente.

Alterações com e sem quebra de compatibilidade

Alterações sem quebra de compatibilidade

Alterações sem quebra de compatibilidade podem ocorrer a qualquer momento e geralmente oferecem funcionalidades adicionais. Exemplos de alterações sem quebra de compatibilidade:

Adicionar uma nova tabela ou visualização
Adicionar uma coluna a uma tabela ou visualização existente

Importante

Como novas colunas são consideradas alterações sem quebra de compatibilidade, a Braze recomenda fortemente listar explicitamente as colunas de interesse em cada consulta em vez de usar consultas SELECT *. Outra opção é criar visualizações que nomeiem explicitamente as colunas e consultar essas visualizações em vez de consultar as tabelas compartilhadas diretamente.

Alterações com quebra de compatibilidade

Quando possível, alterações com quebra de compatibilidade são precedidas por um comunicado e um período de migração. Exemplos de alterações com quebra de compatibilidade incluem:

Remover uma tabela ou visualização
Remover uma coluna de uma tabela ou visualização existente
Alterar o tipo ou a nulidade de uma coluna existente

Política de retenção

Você pode consultar os dois anos mais recentes de dados para cada evento na visualização USERS_*_SHARED correspondente.

Quase todos os registros de eventos armazenados pelo Braze incluem alguns campos que representam informações de identificação pessoal (IPI) dos usuários. Alguns eventos podem incluir endereço de e-mail, número de telefone, ID do dispositivo, idioma, gênero e local. Se a solicitação de esquecimento de um usuário for enviada ao Braze, anularemos esses campos de IPI para qualquer evento pertencente a esses usuários. Dessa forma, não removemos o registro histórico do evento, mas agora o evento jamais poderá ser vinculado a um indivíduo específico.

Consultando dados compartilhados: `TIME` e desempenho de consultas

Os dados de eventos nas visualizações de compartilhamento de dados (por exemplo, USERS_BEHAVIORS_CUSTOMEVENT_SHARED) são clusterizados no campo TIME. Ao filtrar por quando o evento ocorreu, use TIME como filtro preferencial. Consultas que restringem linhas usando TIME geralmente têm melhor desempenho do que consultas que filtram por DB_CREATED_AT, porque o clustering está alinhado com o horário do evento.

Campo	Significado
`TIME`	Timestamp Unix indicando quando o evento ocorreu. Prefira este campo ao filtrar por horário de ocorrência.
`DB_CREATED_AT`	Timestamp de quando a linha foi carregada no Databricks (horário de ingestão).

Velocidade, desempenho e custo das consultas

A velocidade, o desempenho e o custo de qualquer consulta executada sobre os dados dependem do tamanho do SQL warehouse utilizado. Dependendo do volume de dados acessados, pode ser necessário um warehouse maior para que a consulta seja concluída com sucesso. Para saber mais, consulte a documentação do Databricks sobre criação e configuração de um SQL warehouse (incluindo tamanho e escalonamento do cluster).

New Stuff!