Skip to content

yubarrdevo/GenAIOps_ferramentas

Repository files navigation

GenAIOps - Plataforma de Microsserviços para Instituições Financeiras

Arquitetura completa de microsserviços GenAIOps para operações de TI em bancos, combinando AIOps tradicional com IA Generativa.

📋 Visão Geral

Esta plataforma implementa 18 microsserviços distribuídos em 5 camadas funcionais:

Camada 1: Coleta e Ingestão de Dados 🔍

  • Telemetry Agent Service: Coleta logs, métricas e traces locais
  • Ingestion API Service: Endpoint centralizado para recepção de telemetria
  • Legacy Connector Service: Integração com sistemas legados

Camada 2: Processamento e Análise 🧠

  • Normalization Service: Padronização e enriquecimento de dados
  • Anomaly Detection Service: Detecção de anomalias com ML
  • Topology Service: Mapeamento de dependências entre serviços
  • Event Correlation Service: Correlação e redução de ruído de alertas

Camada 3: Inteligência Generativa 🤖

  • Knowledge Embedding Service: Vetorização de base de conhecimento
  • Vector Search Service: Busca semântica (RAG)
  • Generative Summarization Service: Sumarização de incidentes com LLM
  • Code Generation Service: Geração de código de remediação
  • NLQ Service: Consultas em linguagem natural

Camada 4: Ação e Automação ⚡

  • Automation Runner Service: Execução segura de automações
  • Smart Notification Service: Notificações inteligentes
  • Feedback Loop Service: RLHF para melhoria contínua

Camada 5: Governança e RH 📊

  • HR Co-Pilot Service: Assistente de RH com IA
  • IT Sentiment Service: Análise de sentimento de equipes
  • Audit & Risk Service: Compliance e auditoria automatizada

🏗️ Arquitetura

┌─────────────────────────────────────────────────────────────┐
│                     CAMADA 5: GOVERNANÇA                     │
│  [HR Co-Pilot] [Sentiment Analysis] [Audit & Risk]          │
└─────────────────────────────────────────────────────────────┘
                              ▲
┌─────────────────────────────────────────────────────────────┐
│                   CAMADA 4: AUTOMAÇÃO                        │
│  [Automation Runner] [Notifications] [Feedback Loop]         │
└─────────────────────────────────────────────────────────────┘
                              ▲
┌─────────────────────────────────────────────────────────────┐
│                  CAMADA 3: GENAI                             │
│  [Embedding] [Vector Search] [Summarization] [CodeGen] [NLQ]│
└─────────────────────────────────────────────────────────────┘
                              ▲
┌─────────────────────────────────────────────────────────────┐
│                  CAMADA 2: ANÁLISE                           │
│  [Normalization] [Anomaly] [Topology] [Correlation]          │
└─────────────────────────────────────────────────────────────┘
                              ▲
┌─────────────────────────────────────────────────────────────┐
│                  CAMADA 1: INGESTÃO                          │
│  [Telemetry Agent] [Ingestion API] [Legacy Connector]        │
└─────────────────────────────────────────────────────────────┘

🚀 Quick Start

Pré-requisitos

  • Docker & Docker Compose
  • Python 3.11+
  • 16GB RAM (recomendado para ambiente completo)

Executar toda a plataforma

# Clonar repositório
git clone <repo-url>
cd GenAIOps_ferramentas

# Configurar variáveis de ambiente
cp .env.example .env
# Editar .env com suas credenciais (OpenAI, GCP, etc.)

# Subir todos os serviços
docker-compose up -d

# Verificar status
docker-compose ps

# Ver logs de um serviço específico
docker-compose logs -f generative-summarization

Executar serviços individuais

# Apenas camada de ingestão
docker-compose up -d telemetry-agent ingestion-api legacy-connector

# Apenas camada GenAI
docker-compose up -d knowledge-embedding vector-search generative-summarization

📁 Estrutura do Projeto

GenAIOps_ferramentas/
├── shared/                      # Código compartilhado
│   └── python/
│       ├── models/              # Modelos de dados comuns
│       ├── utils/               # Utilitários
│       └── config/              # Configurações
├── layer1-ingestion/            # Camada 1
│   ├── telemetry-agent/
│   ├── ingestion-api/
│   └── legacy-connector/
├── layer2-analysis/             # Camada 2
│   ├── normalization-service/
│   ├── anomaly-detection/
│   ├── topology-service/
│   └── event-correlation/
├── layer3-genai/                # Camada 3
│   ├── knowledge-embedding/
│   ├── vector-search/
│   ├── generative-summarization/
│   ├── code-generation/
│   └── nlq-service/
├── layer4-automation/           # Camada 4
│   ├── automation-runner/
│   ├── smart-notification/
│   └── feedback-loop/
├── layer5-governance/           # Camada 5
│   ├── hr-copilot/
│   ├── sentiment-analysis/
│   └── audit-risk/
├── docs/                        # Documentação
├── docker-compose.yml
└── README.md

🔧 Tecnologias Utilizadas

  • APIs: FastAPI, gRPC
  • Mensageria: RabbitMQ, Kafka
  • Bancos de Dados: PostgreSQL, Redis, MongoDB
  • Vetorial: Pinecone, Weaviate, Milvus
  • ML/AI: scikit-learn, TensorFlow, PyTorch
  • GenAI: LangChain, OpenAI, Google Gemini
  • Observabilidade: OpenTelemetry, Prometheus, Grafana
  • Orquestração: Kubernetes, Ansible

📊 Casos de Uso

Exemplo 1: Detecção e Remediação Automática de Incidente PIX

  1. Telemetry Agent detecta latência alta no serviço PIX
  2. Anomaly Detection identifica anomalia (200ms vs 50ms normal)
  3. Event Correlation agrupa alertas relacionados (CPU, memória, latência)
  4. Generative Summarization gera: "PIX lento devido a CPU 99% no DB"
  5. Code Generation cria script Ansible para escalar pod Kubernetes
  6. Smart Notification envia para Slack com botão [Aprovar]
  7. Automation Runner executa após aprovação
  8. Feedback Loop aprende com resultado

Exemplo 2: Consulta de RH em Linguagem Natural

  1. Gerente pergunta: "Quais devs têm cert. AWS e avaliação >4.5?"
  2. HR Co-Pilot usa NLQ Service para traduzir em SQL
  3. Vector Search busca contexto em políticas de RH
  4. Retorna lista de 5 funcionários com links para perfis

Exemplo 3: Auditoria de Conformidade

  1. Audit & Risk analisa logs de acesso admin em produção
  2. Generative Summarization identifica 3 acessos sem ticket
  3. Gera relatório executivo para Banco Central
  4. Smart Notification alerta time de segurança

🔐 Segurança e Compliance

  • Autenticação: OAuth2 + JWT
  • Autorização: RBAC com Keycloak
  • Criptografia: TLS 1.3 em trânsito, AES-256 em repouso
  • Auditoria: Todos os eventos logados com rastreabilidade
  • Compliance: LGPD, PCI-DSS, BACEN

🧪 Testes

# Testes unitários
pytest shared/python/tests/

# Testes de integração
pytest layer3-genai/generative-summarization/tests/integration/

# Testes E2E
./scripts/run-e2e-tests.sh

📈 Monitoramento

Acesse os dashboards:

🤝 Contribuindo

  1. Fork o projeto
  2. Crie uma branch: git checkout -b feature/nova-funcionalidade
  3. Commit: git commit -m 'Adiciona nova funcionalidade'
  4. Push: git push origin feature/nova-funcionalidade
  5. Abra um Pull Request

📄 Licença

MIT License - veja LICENSE para detalhes.

📞 Suporte


Construído com ❤️ para transformar operações de TI em instituições financeiras

About

No description, website, or topics provided.

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Contributors 2

  •  
  •