Mineração de dados — tarefas, técnicas e processo KDD

Mineração × consulta

A consulta SQL ou OLAP responde a pergunta já formulada pelo analista. A mineração procura padrões que ninguém pediu de forma explícita. Text mining aplica a ideia a textos; web mining, a páginas, links e registros de acesso.

Ex.: "quanto o investigado movimentou em março?" é consulta. "Que contas se comportam como contas de passagem?" é mineração.

Aprendizado supervisionado e não supervisionado

No aprendizado supervisionado, os dados de treino têm rótulo: a resposta correta é conhecida, e o modelo aprende a prevê-la. No não supervisionado, não há rótulo: o algoritmo busca estrutura nos próprios dados.

Ex.: histórico de transações marcadas como "fraude" e "normal" permite treino supervisionado. Base de clientes sem nenhuma marcação só admite técnica não supervisionada.

Classificação e regressão

• Classificação: prevê a classe de um registro. Técnicas: árvore de decisão, k-NN, Naive Bayes, SVM, redes neurais. A árvore de decisão é interpretável: gera regras do tipo "se… então".
• Regressão: prevê valor numérico contínuo.

Ex.: rotular uma transação como "suspeita" ou "normal" é classificação. Prever o valor de mercado de um imóvel pelas suas características é regressão.

Agrupamento (clustering)

Reúne registros parecidos em grupos, sem classes definidas antes. O algoritmo k-means é o mais citado: o analista escolhe o número k de grupos, e o método distribui os registros em torno de k centros.

Ex.: separar correntistas em perfis de movimentação sem dizer ao algoritmo quais perfis existem.

Regras de associação

Descobrem itens que aparecem juntos: "quem tem X também tem Y". O algoritmo clássico é o Apriori. Três medidas avaliam a regra X → Y:

• Suporte: fração das transações que contêm X e Y.
• Confiança: P(Y | X): das transações com X, a fração que também tem Y.
• Lift: confiança dividida pela frequência de Y. Acima de 1, indica associação positiva.

Ex.: em 100 transações, X aparece em 40, Y em 30 e os dois juntos em 24. Suporte: 24 ÷ 100 = 0,24. Confiança: 24 ÷ 40 = 0,60. Lift: 0,60 ÷ 0,30 = 2.

Detecção de anomalias e padrões sequenciais

A detecção de anomalias (outliers) acha registros que fogem do padrão. A mineração de padrões sequenciais considera a ordem dos eventos no tempo.

Ex.: correntista que movimenta R$ 3.000 por mês recebe R$ 400.000 em um dia: anomalia. "Depósito em espécie seguido, em até dois dias, de remessa ao exterior" é padrão sequencial.

Processo KDD

KDD é a descoberta de conhecimento em bases de dados. Etapas, na ordem: seleção → pré-processamento (limpeza) → transformação → mineração → interpretação e avaliação. A limpeza trata valores ausentes, duplicados, ruídos e inconsistências. A preparação dos dados costuma consumir a maior parte do esforço.

Ex.: antes de minerar extratos bancários, o analista seleciona as contas de interesse, remove lançamentos duplicados e padroniza o formato das datas.

CRISP-DM

Modelo de processo com seis fases, em ciclo: entendimento do negócio → entendimento dos dados → preparação dos dados → modelagem → avaliação → implantação.

Ex.: a primeira fase define a pergunta, como "reduzir fraudes em benefícios". Só depois vêm os dados e o modelo.

Avaliação e overfitting

O modelo é avaliado em dados de teste, separados dos de treino. Overfitting ocorre quando o modelo decora o treino e generaliza mal: acerta muito no treino e pouco em dados novos.

Ex.: classificador com 99% de acerto no treino e 60% no teste está sobreajustado.