Este repositório apresenta um validador automático de dados desenvolvido para ser utilizado durante os processos de atualização de dashboards. O objetivo principal é detectar variações anômalas (outliers) e reportá-las via Microsoft Teams antes da finalização do processo, evitando retrabalho e inconsistências nos relatórios.
O validador foi projetado para automatizar a validação de dados, garantindo maior confiabilidade e eficiência nos processos de atualização de dashboards.
Observação: Por questões de conformidade com a Lei Geral de Proteção de Dados (LGPD), os nomes dos campos e informações sensíveis foram omitidos ou anonimizados neste repositório.
O principal objetivo deste projeto é:
- Validar os dados antes da atualização dos dashboards.
- Detectar outliers na contagem de clientes e rentabilidade.
- Alertar a equipe via Microsoft Teams em caso de inconsistências.
- Reduzir retrabalho e garantir maior confiabilidade nos dashboards.
O validador funciona em quatro etapas principais:
-
Consulta dos Dados:
- Consulta os dados no ambiente PySpark SQL com filtros específicos.
-
Verificação de Anomalias:
- Verifica a contagem de registros e identifica possíveis anomalias.
-
Geração de Mensagens:
- Gera uma mensagem de monitoramento, diferenciando casos normais e críticos.
-
Envio de Alertas:
- Envia um alerta para o Microsoft Teams, permitindo a intervenção antes da conclusão da atualização.
- Linguagens: Python, SQL
- Big Data: PySpark, Databricks, SparkSQL
- Notificação: pymsteams (Microsoft Teams Webhook)
- Manipulação de Dados: Pandas, PySpark DataFrames
- Automação do Processo: Elimina a necessidade de validação manual, reduzindo erros.
- Detecção de Outliers em Tempo Real: Identifica anomalias antes que afetem os dashboards.
- Integração com Microsoft Teams: Facilita a comunicação e a tomada de ações corretivas.
- Flexibilidade e Escalabilidade: Pode ser adaptado para outros cenários e bases de dados.
- Automação Inteligente: Validação automática de dados, reduzindo erros manuais.
- Integração com Microsoft Teams: Alertas em tempo real para a equipe.
- Conformidade com LGPD: Respeito às normas de proteção de dados, garantindo segurança e privacidade.
- Escalável e Adaptável: Pode ser utilizado em diversos cenários e bases de dados.
-
Configure o Webhook do Microsoft Teams:
- Crie um webhook no Microsoft Teams para receber as notificações.
-
Adapte a Consulta SQL:
- Ajuste a consulta SQL no código conforme a base de dados utilizada.
-
Execute o Código:
- Execute o código no Databricks ou outro ambiente compatível com PySpark.