Big data e seus "Vs"
4 min de leituraPodcast2 questões
Cai no edital de PRF, Agente PF, Escrivão PF, Papiloscopista PF, Caixa Econômica Federal, Receita Federal, Receita Federal
Para revisar
Resumo
Essência. Conjuntos de dados tão grandes, rápidos ou variados que as ferramentas tradicionais de banco não dão conta. O modelo dos 3 Vs (Doug Laney, Gartner) foi ampliado para 5 Vs.
- Volume: quantidade massiva de dados.
- Velocidade: ritmo de geração e processamento, inclusive em tempo real. Ex.: leituras de placas por câmeras OCR a cada segundo.
- Variedade: estruturados (tabelas), semiestruturados (JSON, XML) e não estruturados (texto, imagem, vídeo).
- Veracidade: qualidade e confiabilidade — um dos grandes desafios. Ex.: placa lida errado pela câmera.
- Valor: utilidade para gerar conhecimento e decisões.
- 3 Vs clássicos: volume, velocidade, variedade; + veracidade e valor = 5.
- Associados: data lake (bruto), data warehouse (tratado, para BI), processamento distribuído (Hadoop, Spark), mineração de dados, análise preditiva.
- Fontes: IoT e redes sociais alimentam o big data.
Exceções e distinções. Big data não é só volume nem só dados estruturados. Data lake guarda dados em formato original; data warehouse, dados estruturados e organizados para análise.
Pegadinha Cebraspe. "Big data é caracterizado apenas pelo volume" → errado.
Lembre também: "a veracidade não é característica do big data" é errado; palavras de alerta: "apenas", "não inclui", ou item que exclui um dos Vs.
Visão geral
Big data designa conjuntos de dados tão grandes, rápidos ou variados que as ferramentas tradicionais de banco de dados não dão conta de armazenar e analisar. O modelo original de 3 Vs (Doug Laney, Gartner, início dos anos 2000) foi ampliado para 5 Vs.
Regra
Ver íntegra
| V | Significado | Exemplo |
|---|---|---|
| Volume | quantidade massiva de dados | imagens de todas as câmeras do país |
| Velocidade | ritmo de geração e necessidade de processamento (inclusive em tempo real) | leituras de placas a cada segundo |
| Variedade | tipos e formatos diversos: estruturados, semiestruturados (JSON, XML) e não estruturados (texto, imagem, vídeo) | planilhas, JSON de sistemas, vídeos |
| Veracidade | confiabilidade e qualidade dos dados — um dos grandes desafios | placa lida errado pela câmera |
| Valor | utilidade/retorno que se extrai dos dados | descobrir rota usada pelo tráfico |
Conceitos associados: data lake (dados brutos em formato original), data warehouse (dados tratados e estruturados para análise), processamento distribuído (Hadoop, Spark), mineração de dados, análise preditiva.
Aprofundamento
Os "Vs" do Big Data
| V | Significado |
|---|---|
| Volume | quantidade enorme de dados |
| Velocidade | dados gerados e processados em alta frequência, muitas vezes em tempo real |
| Variedade | estruturados (tabelas), semiestruturados (JSON, XML) e não estruturados (texto, imagem, vídeo) |
| Veracidade | qualidade e confiabilidade dos dados |
| Valor | utilidade para gerar conhecimento e decisões |
- Data warehouse: repositório de dados estruturados e tratados, organizado para análise (BI). Data lake: repositório de dados brutos em qualquer formato, tratados quando usados (schema on read). Data lakehouse combina os dois.
- ETL (extrair, transformar, carregar) alimenta o warehouse; ELT carrega bruto e transforma depois (comum em lakes).
- Processamento distribuído: Hadoop (HDFS + MapReduce), Spark (em memória, mais rápido); bancos NoSQL (documentos, chave-valor, colunar, grafos) para variedade e escala.
- Mineração de dados e análise preditiva descobrem padrões (ex.: pontos críticos de acidentes a partir de dados históricos).
- Tipos de análise: descritiva (o que aconteceu), diagnóstica (por quê), preditiva (o que vai acontecer), prescritiva (o que fazer).
Como a banca cobra
- "Big data é caracterizado apenas pelo volume": errado.
- "A veracidade não é característica/desafio do big data": errado.
- "Big data trata só de dados estruturados": errado (variedade inclui não estruturados).
- Detalhe que torna o item errado: "apenas", "não inclui", ou excluir um dos Vs.
Revisão rápida
- 3 Vs clássicos: volume, velocidade, variedade.
- 5 Vs: + veracidade e valor.
- Dados estruturados, semiestruturados e não estruturados.
- Data lake = bruto; data warehouse = tratado.
- IoT e redes sociais alimentam o big data.
Referência
Mapa mental
Conceito
- Grande, rápido ou variado demais
- Ferramentas tradicionais não dão conta
Os 5 Vs
- Volume
- Velocidade
- Variedade
- Veracidade
- Valor
Variedade de dados
- Estruturados: tabelas
- Semiestruturados: JSON, XML
- Não estruturados: texto, imagem
Associados
- Data lake e data warehouse
- Hadoop e Spark
- Mineração e análise preditiva
Fontes
- IoT e redes sociais
⚠️ Pegadinha
- Big data é só volume → errado
Questão 1, PRF, Certo ou Errado
Entre as características tradicionalmente associadas ao conceito de big data, conhecidas como os "Vs", incluem-se o volume, a velocidade e a variedade dos dados, mas não a sua veracidade, uma vez que a confiabilidade dos dados não é considerada um desafio relevante nesse contexto.
Revelar gabarito
Gabarito: Errado
Errado. A veracidade (confiabilidade e qualidade dos dados) é, sim, tradicionalmente considerada uma das características ("Vs") do big data, ao lado de volume, velocidade e variedade — e frequentemente também valor. Garantir a veracidade dos dados é, inclusive, um dos grandes desafios no tratamento de big data.
Questão 2, PRF, Certo ou Errado
O conceito de big data é caracterizado apenas pelo grande volume de dados armazenados, não estando relacionado à velocidade de geração desses dados nem à diversidade de seus formatos.
Revelar gabarito
Gabarito: Errado
Errado. Big data é tipicamente caracterizado por múltiplas dimensões (os "Vs"), incluindo pelo menos volume, velocidade e variedade dos dados — não apenas o volume.
- Revelar resposta
Quais são os "Vs" clássicos do conceito de Big Data?
Volume, Velocidade, Variedade, Veracidade e Valor.
- Revelar resposta
Quais são os quatro tipos de análise de dados (analytics)?
Descritiva: o que aconteceu. Diagnóstica: por que aconteceu. Preditiva: o que vai acontecer. Prescritiva: o que fazer (recomenda ações). Pegadinha: atribuir "recomendar ações" à diagnóstica ou à preditiva.
- Revelar resposta
Big data usa as mesmas ferramentas dos bancos relacionais? O que é escalabilidade horizontal?
Não: usa ferramentas distribuídas (Hadoop, Spark, NoSQL). Escalabilidade horizontal: adicionar mais máquinas ao cluster, em arquitetura sem compartilhamento de recursos (shared-nothing); vertical = máquina mais potente.
- Revelar resposta
O que é matching (correspondência de dados)?
Processo de qualidade de dados que identifica registros que se referem à mesma entidade, em geral entre fontes diferentes (e também dentro de uma fonte, na deduplicação). Restringir à "mesma fonte" torna o item errado.
Estude PRF no app
Grátis, sem cartão