Cette application Streamlit permet de télécharger des données extraites de Coin Afrique sur les "villas", "terrains" et "appartements".
- Bibliothèques Python: base64, pandas, streamlit (voir requirements.txt)
- Source de données: Coin Afrique
- Options:
- Scraping des données avec BeautifulSoup
- Téléchargement des données extraites
- Tableau de bord des données
- Remplissage du formulaire
Avant de commencer, assurez-vous d'avoir installé les outils suivants :
-
Clonez ce dépôt :
git clone https://github.com/Mx-Bx/dit-devops-project.git cd dit-devops-project
-
Construisez l'image Docker :
docker-compose build ou docker build -t <NomDeImage> .
ou
Recupérer l'image depuis dockerhub
docker pull barryma22/dit-devops-project:latest
-
Démarrez les services :
docker-compose up
-
Accédez à l'application Streamlit dans votre navigateur à l'adresse suivante :
http://localhost:8501
-
Accédez à l'application Streamlit dans votre navigateur à l'adresse suivante :
https://dit-devops-project.streamlit.app/
-
Accédez à l'application Streamlit dans votre navigateur à l'adresse suivante (Render) :
https://dit-devops-project.onrender.com
dit-devops-project/
|
├── app/ # Contient le code de l'application Streamlit
| ├── data_app.py
| └── pages/
| ├── Form.py
| └── Dashboard.py
|
├── tests/ # Contient les tests unitaires pour l'application
| └── test_app.py
|
├── Dockerfile # Définit l'image Docker pour l'application
├── docker-compose.yml # Définit les services Docker et leurs configurations
├── requirements.txt # Liste des dépendances Python
├── README.md # Fichier README principal du projet
|
└── data/
├── lien-1.csv
├── lien-2.csv
├── lien-3.csv
Pour exécuter les tests unitaires, utilisez la commande suivante :
pytest
-
Scrape data using BeautifulSoup:
- Récupère les données à partir de Coin Afrique et les affiche dans un tableau.
-
Download scraped data:
- Télécharge les données extraites à partir des fichiers CSV locaux et les affiche dans un tableau.
-
Fill the form:
- Affiche un formulaire intégré à partir de KoboToolbox.
-
Dashboard of the data:
- Affiche un tableau de bord intégré à partir de Looker Studio.
Si vous rencontrez des problèmes, n'hésitez pas à ouvrir une issue sur GitHub.
Ce projet est sous licence MIT.