Data warehouse, data mart, data lake e data mesh
3 min de leitura13 questões
Cai no edital de Agente PF, Escrivão PF, Papiloscopista PF, Banco do Brasil, Caixa Econômica Federal, Receita Federal, Receita Federal
Para revisar
Resumo
Essência. Quatro formas de organizar dados para análise:
- Data warehouse (DW): repositório central de dados integrados e históricos, para apoio à decisão (BI). Definição de Inmon: orientado a assunto, integrado, não volátil (dados não são alterados, só carregados e consultados) e variante no tempo (guarda histórico). Alimentado por ETL; dados estruturados, schema-on-write.
- Data mart: subconjunto do DW voltado a um departamento ou assunto (ex.: só finanças). Menor e mais rápido de construir. Kimball propõe construir DW a partir de data marts (bottom-up); Inmon, DW corporativo primeiro (top-down).
- Data lake: armazena dados brutos em qualquer formato (estruturado, semi, não estruturado), schema-on-read, barato e escalável; útil para ciência de dados e ML. Sem governança, vira data swamp (pântano).
- Data mesh: abordagem organizacional e descentralizada (Zhamak Dehghani): cada domínio de negócio é dono dos seus dados e os oferece como produto, com plataforma self-service e governança federada.
Pegadinha Cebraspe. "O data warehouse é volátil, pois seus dados são atualizados a cada transação" → errado: o DW é não volátil; quem é volátil é o banco transacional (OLTP).
Visão geral
info-arquitetura-de-dados (PRF) já trata data lake, Hadoop e streaming. Aqui o foco é comparar o DW e o data mart (BI tradicional) com as abordagens mais novas (lake, mesh), como o item 21.5 pede.
Regra
Ver íntegra
| Data warehouse | Data mart | Data lake | Data mesh | |
|---|---|---|---|---|
| Escopo | Organização inteira | Um setor/assunto | Organização (bruto) | Domínios descentralizados |
| Dados | Estruturados, tratados | Estruturados, tratados | Qualquer formato, brutos | Produtos de dados por domínio |
| Esquema | On-write | On-write | On-read | Definido pelo domínio |
| Uso típico | BI, relatórios | BI departamental | Ciência de dados, ML | Escala organizacional |
Pontos-chave
- OLTP × OLAP: OLTP = transações do dia a dia, normalizado, volátil; OLAP = análise, histórico, desnormalizado.
- Modelo dimensional: tabela fato (medidas numéricas, ex.: valor da apreensão) cercada por dimensões (tempo, local, tipo).
- Esquema estrela: dimensões desnormalizadas ligadas direto ao fato. Floco de neve: dimensões normalizadas em subtabelas.
- Granularidade: nível de detalhe do fato; quanto mais fino, mais linhas.
- Lakehouse: une a flexibilidade do lake com recursos de DW (transações, esquema).
- Data mart dependente (extraído do DW) × independente (direto das fontes).
Como a banca cobra
- "Data mart é um subconjunto de um data warehouse voltado a uma área específica" → certo.
- "No esquema estrela, a tabela fato armazena as medidas e se relaciona com as tabelas de dimensões" → certo.
- "Data lake exige que os dados sejam transformados antes do armazenamento" → errado (guarda bruto).
- "Data mesh propõe centralizar todos os dados em uma equipe única de engenharia" → errado (descentraliza por domínio).
- "Por ser variante no tempo, o DW mantém o histórico dos dados" → certo.
Mapa mental
Data warehouse
- Orientado a assunto, integrado
- Não volátil, variante no tempo
- Estruturado, alimentado por ETL
Data mart
- Subconjunto por setor ou assunto
- Kimball: bottom-up; Inmon: top-down
Data lake
- Dados brutos, qualquer formato
- Schema-on-read
- Sem governança vira data swamp
Data mesh
- Domínio dono dos dados
- Dados como produto
- Governança federada
Modelo dimensional
- Fato: medidas; dimensões: contexto
- Estrela desnormalizada; floco normalizado
⚠️ Pegadinha
- OLTP volátil; DW não volátil
Questão 1, Agente PF, Certo ou Errado
O data warehouse é volátil, pois seus dados são atualizados a cada transação dos sistemas operacionais.
Revelar gabarito
Gabarito: Errado
Errado. Na definição de Inmon, o data warehouse é não volátil: os dados são carregados e consultados, sem alteração a cada transação. A volatilidade descrita é característica dos bancos transacionais, os sistemas OLTP.
Questão 2, Agente PF, Certo ou Errado
O data mart é um subconjunto do data warehouse voltado a um departamento ou assunto específico.
Revelar gabarito
Gabarito: Certo
Certo. O data mart é menor e mais rápido de construir que o data warehouse corporativo, atendendo a um setor ou assunto, como finanças. Pode ser dependente do DW ou alimentado direto pelas fontes.
Questão 3, Agente PF, Certo ou Errado
O data mesh propõe centralizar todos os dados da organização em uma única equipe de engenharia de dados.
Revelar gabarito
Gabarito: Errado
Errado. O data mesh segue direção oposta à centralização: cada domínio de negócio é dono dos seus dados e os oferece como produto, com plataforma self-service e governança federada.
Questão 4, Agente PF, Certo ou Errado
O data lake armazena dados brutos em diversos formatos, inclusive não estruturados.
Revelar gabarito
Gabarito: Certo
Certo. O data lake aceita dados brutos estruturados, semiestruturados e não estruturados, aplicando o esquema apenas na leitura. Sem governança, porém, corre o risco de se transformar em data swamp, ou pântano de dados.
Questão 5, Agente PF, Certo ou Errado
Na abordagem de Kimball, o data warehouse é construído de forma incremental a partir de data marts.
Revelar gabarito
Gabarito: Certo
Certo. Kimball propõe a abordagem bottom-up, em que o data warehouse surge da construção de data marts. Inmon defende o caminho inverso, top-down, com o data warehouse corporativo construído primeiro.
- Revelar resposta
Características do data warehouse (Inmon)
Orientado a assunto, integrado, não volátil e variante no tempo.
- Revelar resposta
Data mart
Subconjunto do DW voltado a um departamento ou assunto. Kimball: DW a partir de data marts (bottom-up); Inmon: top-down.
- Revelar resposta
Data lake
Dados brutos em qualquer formato, schema-on-read; sem governança, vira data swamp.
- Revelar resposta
Data mesh
Abordagem descentralizada: cada domínio é dono dos seus dados e os oferece como produto, com governança federada.
- Revelar resposta
DW × banco transacional (OLTP)
DW é não volátil (carga e consulta) e histórico; OLTP é volátil, atualizado a cada transação.
- Revelar resposta
Esquema estrela
No esquema estrela, as dimensões desnormalizadas ligam-se diretamente à tabela fato; no floco de neve, as dimensões são normalizadas e desdobradas em subtabelas.
- Revelar resposta
Floco de neve
O floco de neve normaliza as dimensões em subtabelas; a dimensão desnormalizada ligada diretamente ao fato é a característica do esquema estrela, mais simples de consultar.
- Revelar resposta
Tabela fato
A tabela fato guarda medidas numéricas, como o valor de uma apreensão, e relaciona-se com dimensões descritivas como tempo, local e tipo, conforme o modelo dimensional.
- Revelar resposta
Inmon × Kimball
Inmon defende construir primeiro o data warehouse corporativo, em abordagem top-down; a construção incremental a partir de data marts, bottom-up, é a proposta de Kimball.
- Revelar resposta
Data swamp
Sem governança e sem catálogo de metadados, o data lake vira data swamp, ou pântano de dados, porque os dados brutos deixam de ser encontráveis e confiáveis.
Estude Agente PF no app
Grátis, sem cartão