Features

README.md

@@ -1,85 +1,77 @@
-# Desafio programação - para vaga desenvolvedor
+# Store Manager
 
-Por favor leiam este documento do começo ao fim, com muita atenção.
-O intuito deste teste é avaliar seus conhecimentos técnicos em programação.
-O teste consiste em parsear [este arquivo de texto(CNAB)](https://github.com/ByCodersTec/desafio-ruby-on-rails/blob/master/CNAB.txt) e salvar suas informações(transações financeiras) em uma base de dados a critério do candidato.
-Este desafio deve ser feito por você em sua casa. Gaste o tempo que você quiser, porém normalmente você não deve precisar de mais do que algumas horas.
+Esse projeto consiste em parsear [este arquivo de texto(CNAB)](https://github.com/ByCodersTec/desafio-ruby-on-rails/blob/master/CNAB.txt) e salvar suas informações(transações financeiras) em uma base de dados.
 
-# Instruções de entrega do desafio
+# Sobre
 
-1. Primeiro, faça um fork deste projeto para sua conta no Github (crie uma se você não possuir).
-2. Em seguida, implemente o projeto tal qual descrito abaixo, em seu clone local.
-3. Por fim, envie via email o projeto ou o fork/link do projeto para seu contato Bycoders_ com cópia para [email protected].
+Esse projeto é composto por uma interface web que aceita upload do [arquivo CNAB](https://github.com/ByCodersTec/desafio-ruby-on-rails/blob/master/CNAB.txt) (que contêm informações sobre movimentações financeiras de várias lojas), normaliza os dados e armazena em um banco de dados relacional MySQL. As informações das movimentações são exibidas na interface web.
 
-# Descrição do projeto
 
-Você recebeu um arquivo CNAB com os dados das movimentações finanaceira de várias lojas.
-Precisamos criar uma maneira para que estes dados sejam importados para um banco de dados.
+# Tecnologias Utilizadas
 
-Sua tarefa é criar uma interface web que aceite upload do [arquivo CNAB](https://github.com/ByCodersTec/desafio-ruby-on-rails/blob/master/CNAB.txt), normalize os dados e armazene-os em um banco de dados relacional e exiba essas informações em tela.
+## Back-end
 
-**Sua aplicação web DEVE:**
+- [Python](https://www.python.org/)
+- [Django](https://www.djangoproject.com/)
+- [Django Rest Framework](https://www.django-rest-framework.org/)
+- [MySQL](https://www.mysql.com/)
 
-1. Ter uma tela (via um formulário) para fazer o upload do arquivo(pontos extras se não usar um popular CSS Framework )
-2. Interpretar ("parsear") o arquivo recebido, normalizar os dados, e salvar corretamente a informação em um banco de dados relacional, **se atente as documentações** que estão logo abaixo.
-3. Exibir uma lista das operações importadas por lojas, e nesta lista deve conter um totalizador do saldo em conta
-4. Ser escrita na sua linguagem de programação de preferência
-5. Ser simples de configurar e rodar, funcionando em ambiente compatível com Unix (Linux ou Mac OS X). Ela deve utilizar apenas linguagens e bibliotecas livres ou gratuitas.
-6. Git com commits atomicos e bem descritos
-7. PostgreSQL, MySQL ou SQL Server
-8. Ter testes automatizados
-9. Docker compose (Pontos extras se utilizar)
-10. Readme file descrevendo bem o projeto e seu setup
-11. Incluir informação descrevendo como consumir o endpoint da API
+## Front-end
 
-**Sua aplicação web não precisa:**
+- HTML
+- [Jinja](https://jinja.palletsprojects.com/en/3.0.x/)
 
-1. Lidar com autenticação ou autorização (pontos extras se ela fizer, mais pontos extras se a autenticação for feita via OAuth).
-2. Ser escrita usando algum framework específico (mas não há nada errado em usá-los também, use o que achar melhor).
-3. Documentação da api.(Será um diferencial e pontos extras se fizer)
+## Testes
 
-# Documentação do CNAB
+- Testes de unidade = [Pytes](https://docs.python.org/3/library/unittest.html)
+```bash
+pytest -v 
+```
+- Testes de Padronização e Formatação
+[Pylint](https://pypi.org/project/pylint/)
+[Flake8](https://pypi.org/project/flake8/)
 
-| Descrição do campo  | Inicio | Fim | Tamanho | Comentário
-| ------------- | ------------- | -----| ---- | ------
-| Tipo  | 1  | 1 | 1 | Tipo da transação
-| Data  | 2  | 9 | 8 | Data da ocorrência
-| Valor | 10 | 19 | 10 | Valor da movimentação. *Obs.* O valor encontrado no arquivo precisa ser divido por cem(valor / 100.00) para normalizá-lo.
-| CPF | 20 | 30 | 11 | CPF do beneficiário
-| Cartão | 31 | 42 | 12 | Cartão utilizado na transação 
-| Hora  | 43 | 48 | 6 | Hora da ocorrência atendendo ao fuso de UTC-3
-| Dono da loja | 49 | 62 | 14 | Nome do representante da loja
-| Nome loja | 63 | 81 | 19 | Nome da loja
+```bash
+pylint apps.users.views.py
 
-# Documentação sobre os tipos das transações
+flake8 apps.users.views.py
+```
 
-| Tipo | Descrição | Natureza | Sinal |
-| ---- | -------- | --------- | ----- |
-| 1 | Débito | Entrada | + |
-| 2 | Boleto | Saída | - |
-| 3 | Financiamento | Saída | - |
-| 4 | Crédito | Entrada | + |
-| 5 | Recebimento Empréstimo | Entrada | + |
-| 6 | Vendas | Entrada | + |
-| 7 | Recebimento TED | Entrada | + |
-| 8 | Recebimento DOC | Entrada | + |
-| 9 | Aluguel | Saída | - |
 
-# Avaliação
+# Como Utilizar?
 
-Seu projeto será avaliado de acordo com os seguintes critérios.
+```bash
+# Clonar esse repositório
+$ https://github.com/MiqSA/desafio-dev.git
 
-1. Sua aplicação preenche os requerimentos básicos?
-2. Você documentou a maneira de configurar o ambiente e rodar sua aplicação?
-3. Você seguiu as instruções de envio do desafio?
-4. Qualidade e cobertura dos testes unitários.
+# Entrar no pasta do projeto
+$ cd desafio-dev
 
-Adicionalmente, tentaremos verificar a sua familiarização com as bibliotecas padrões (standard libs), bem como sua experiência com programação orientada a objetos a partir da estrutura de seu projeto.
+# Subir aplicação pelo docker
+$ docker-compose up
 
-# Referência
+# Mude para branch de desenvolvimento 
+$ git checkout features
 
-Este desafio foi baseado neste outro desafio: https://github.com/lschallenges/data-engineering
+# Sincronize com o repositório
+$ git pull
 
----
+# Garantir que o docker desktop está ativo 
 
-Boa sorte!
+$ docker-compose up --build
+
+# A aplicação estará funcionando em http://0.0.0.0:8000/
+
+```
+
+# Observações
+
+Dados iniciais
+
+```bash
+python manage.py loaddata transactions
+```
+
+# Melhorias
+- Front-end com uso de CSS e JavaScript para melhorar experiência do usuário.
+- Testes de carga devem ser efetuados.

apps/dataexplore/admin.py

@@ -0,0 +1,3 @@
+from django.contrib import admin
+
+# Register your models here.

apps/dataexplore/apps.py

@@ -0,0 +1,6 @@
+from django.apps import AppConfig
+
+
+class DataexploreConfig(AppConfig):
+    default_auto_field = 'django.db.models.BigAutoField'
+    name = 'apps.dataexplore'

apps/dataexplore/fixtures/transactions.json

@@ -0,0 +1 @@
+[{"model": "dataexplore.transactiontypemodel", "pk": 1, "fields": {"name": "Débito", "mode": "Entrada", "signal": "+"}}, {"model": "dataexplore.transactiontypemodel", "pk": 2, "fields": {"name": "Boleto", "mode": "Saída", "signal": "-"}}, {"model": "dataexplore.transactiontypemodel", "pk": 3, "fields": {"name": "Financiamento", "mode": "Saída", "signal": "-"}}, {"model": "dataexplore.transactiontypemodel", "pk": 4, "fields": {"name": "Crédito", "mode": "Entrada", "signal": "+"}}, {"model": "dataexplore.transactiontypemodel", "pk": 5, "fields": {"name": "Recebimento Empréstimo", "mode": "Entrada", "signal": "+"}}, {"model": "dataexplore.transactiontypemodel", "pk": 6, "fields": {"name": "Vendas", "mode": "Entrada", "signal": "+"}}, {"model": "dataexplore.transactiontypemodel", "pk": 7, "fields": {"name": "Recebimento TED", "mode": "Entrada", "signal": "+"}}, {"model": "dataexplore.transactiontypemodel", "pk": 8, "fields": {"name": "Recebimento DOC", "mode": "Entrada", "signal": "+"}}, {"model": "dataexplore.transactiontypemodel", "pk": 9, "fields": {"name": "Aluguel", "mode": "Saída", "signal": "-"}}]

apps/dataexplore/forms.py

@@ -0,0 +1,11 @@
+from django import forms
+from .models import DataModel
+
+
+class DataForm(forms.ModelForm):
+    class Meta:
+        model = DataModel
+        fields = [
+            "description",
+            "filename",
+        ]

apps/dataexplore/manage_files.py

@@ -0,0 +1,47 @@
+
+
+class Information():
+    def __init__(self, row=None):
+        self.row = row
+
+    def fields_map(self):
+        try:
+            information_map = {
+                'transaction': int(self.row[0]),
+                'transaction_occurrence_date': f'{self.row[1:5]}-{self.row[5:7]}-{self.row[7:9]}',
+                'transaction_value': int(self.row[9:19]) / 100,
+                'client_cpf': self.row[19:30],
+                'client_credit_card': self.row[30:42],
+                'transaction_hour': int(self.row[42:48]),
+                'store_owner': self.row[48:62],
+                'store_name': self.row[62:82]
+            }
+            return information_map
+        except Exception as error:
+            return error
+
+
+    @staticmethod
+    def get_standard_transactions_type():
+        description = ["Débito", "Boleto", "Financiamento",
+                       "Crédito", "Recebimento Empréstimo",
+                       "Vendas", "Recebimento TED", "Recebimento DOC",
+                       "Aluguel"]
+
+        mode = ["Entrada", "Saída", "Saída", "Entrada",
+                "Entrada", "Entrada", "Entrada", "Entrada", "Saída"]
+
+        signal = ["+", "-", "-", "+", "+", "+", "+", "+", "-"]
+
+        dict_type_transactions = [] 
+        for ind, i in enumerate(description):
+            res = {}
+            fields = {}
+            res['model'] = 'dataexplore.transactiontypemodel'
+            res['pk'] = ind+1
+            fields['name'] = i
+            fields['mode'] = mode[ind]
+            fields['signal'] = signal[ind]
+            res['fields'] = fields
+            dict_type_transactions.append(res)
+        return dict_type_transactions

apps/dataexplore/models.py

@@ -0,0 +1,36 @@
+"""Here the data-explore models are defined."""
+from django.db import models
+
+
+class DataModel(models.Model):
+    """This class define the data model."""
+    description = models.CharField(max_length=255, blank=True)
+    filename = models.FileField(upload_to='files/', unique=True)
+    date_created = models.DateTimeField(auto_now_add=True)
+
+    def __str__(self) -> str:
+        return str(self.filename)
+
+class TransactionTypeModel(models.Model):
+    """This class define the transaction type model."""
+    name = models.CharField(max_length=50, unique=True)
+    mode = models.CharField(max_length=20, blank=True)
+    signal = models.CharField(max_length=1, blank=True)
+
+    def __str__(self) -> str:
+        return str(self.name)
+
+class TransactionModel(models.Model):
+    """This class define the transaction model."""
+    transaction = models.ForeignKey(TransactionTypeModel, on_delete=models.CASCADE, related_name='transaction')
+    transaction_occurrence_date =  models.CharField(max_length=10, blank=True)
+    transaction_value = models.FloatField(default=0.0)
+    client_cpf = models.CharField(max_length=11, blank=True)
+    client_credit_card = models.CharField(max_length=12, blank=True)
+    transaction_hour = models.IntegerField(default=0)
+    store_owner = models.CharField(max_length=250, blank=True)
+    store_name = models.CharField(max_length=250, blank=True)
+
+    def __str__(self) -> str:
+        return str(self.transaction)
+

apps/dataexplore/serializers.py

@@ -0,0 +1,15 @@
+from rest_framework import serializers
+from apps.dataexplore.models import TransactionModel, TransactionTypeModel
+
+
+
+class TransactionTypeSerializer(serializers.ModelSerializer):
+    class Meta:
+        model = TransactionTypeModel
+        fields = ['name', 'mode', 'signal']
+
+class TransactionSerializer(serializers.ModelSerializer):
+    class Meta:
+        model = TransactionModel
+        fields = ['transaction', 'transaction_occurrence_date', 'transaction_value', 'client_cpf']
+

apps/dataexplore/tests/test_e2e.py

@@ -0,0 +1,37 @@
+"""Here the end-to-end tests from data-explore endpoint."""
+import io
+from django.test import TestCase
+from rest_framework.test import APIClient
+import pytest
+
+
+class TestDataExplore(TestCase):
+    """In this class the data explore endpoints are tested."""
+    def setUp(self):
+        """This function customize the setup test."""
+        self.default_url = '/dataexplore/'
+        self.client = APIClient()
+
+
+    def test_0_success_upload_file(self):
+        """This function test the success of upload files."""
+        url = f'{self.default_url}upload-files'
+        data = {
+            'filename': (io.BytesIO(b"3201903010000014200096206760174753****3153153453JOAO MACEDO   BAR DO JOAO "), "fake-text-file.txt"),
+            'description':  'This is a file text.'
+        }
+
+        response = self.client.post(url, data=data, format='multipart')
+        assert response.status_code == 302
+        assert response.url == '/'
+
+    def test_1_fail_upload_file(self):
+        """This function test the fail of upload files."""
+        url = f'{self.default_url}upload-files'
+        data = {
+            'description':  'This is a file text.'
+        }
+
+        response = self.client.post(url, data=data, format='multipart')
+        assert response.status_code == 200
+        assert response.context['data'] == 'Error in to save file.'

apps/dataexplore/urls.py

@@ -0,0 +1,10 @@
+"""Here the urls app data-explore are registered."""
+
+from django.urls import path
+from apps.dataexplore import views  # pylint: disable=import-error
+
+
+urlpatterns = [
+  path('upload-files', views.upload_files, name='upload-files'),
+  path('dashboard', views.dashboard, name='dashboard'),
+]