Skip to content

Mx-Bx/dit-devops-project

Repository files navigation

DIT DEVOPS PROJECT : Coin Afrique Scraper

Cette application Streamlit permet de télécharger des données extraites de Coin Afrique sur les "villas", "terrains" et "appartements".

Fonctionnalités

  • Bibliothèques Python: base64, pandas, streamlit (voir requirements.txt)
  • Source de données: Coin Afrique
  • Options:
    • Scraping des données avec BeautifulSoup
    • Téléchargement des données extraites
    • Tableau de bord des données
    • Remplissage du formulaire

Prérequis

Avant de commencer, assurez-vous d'avoir installé les outils suivants :

Installation

LOCAL

  1. Clonez ce dépôt :

    git clone https://github.com/Mx-Bx/dit-devops-project.git
    cd dit-devops-project
  2. Construisez l'image Docker :

    docker-compose build ou docker build -t <NomDeImage> .

    ou

    Recupérer l'image depuis dockerhub

    docker pull barryma22/dit-devops-project:latest
  3. Démarrez les services :

    docker-compose up
  4. Accédez à l'application Streamlit dans votre navigateur à l'adresse suivante :

    http://localhost:8501
    

ONLINE

  • Accédez à l'application Streamlit dans votre navigateur à l'adresse suivante :

    https://dit-devops-project.streamlit.app/
    
  • Accédez à l'application Streamlit dans votre navigateur à l'adresse suivante (Render) :

    https://dit-devops-project.onrender.com
    

Structure des fichiers

dit-devops-project/
|
├── app/             # Contient le code de l'application Streamlit
|   ├── data_app.py
|   └── pages/
|       ├── Form.py       
|       └── Dashboard.py 
|
├── tests/           # Contient les tests unitaires pour l'application
|   └── test_app.py
|
├── Dockerfile       # Définit l'image Docker pour l'application
├── docker-compose.yml  # Définit les services Docker et leurs configurations
├── requirements.txt    # Liste des dépendances Python
├── README.md       # Fichier README principal du projet
|
└── data/
    ├── lien-1.csv
    ├── lien-2.csv
    ├── lien-3.csv

Commandes pour exécuter les tests

Pour exécuter les tests unitaires, utilisez la commande suivante :

pytest

Exemple d'utilisation

Options

  • Scrape data using BeautifulSoup:

    • Récupère les données à partir de Coin Afrique et les affiche dans un tableau.
  • Download scraped data:

    • Télécharge les données extraites à partir des fichiers CSV locaux et les affiche dans un tableau.
  • Fill the form:

    • Affiche un formulaire intégré à partir de KoboToolbox.
  • Dashboard of the data:

    • Affiche un tableau de bord intégré à partir de Looker Studio.

Aide

Si vous rencontrez des problèmes, n'hésitez pas à ouvrir une issue sur GitHub.

Licence

Ce projet est sous licence MIT.

About

No description, website, or topics provided.

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published