Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Acazaubiel patch parquet ref note #1

Open
wants to merge 105 commits into
base: master
Choose a base branch
from
Open
Changes from 1 commit
Commits
Show all changes
105 commits
Select commit Hold shift + click to select a range
8ec6dd9
Ajout COGugaison dans Fiche (#414)
acazaubiel Feb 18, 2022
3ebc02e
Ajout paragraphe cration auto d'un fork (#415)
vincent-reduron Feb 18, 2022
1acfefb
Update Manifeste.md
linogaliana Mar 9, 2022
17564b2
Correction coquilles is_odd (#420)
etiennebacher Mar 17, 2022
607e64a
retire les doublons
linogaliana Mar 22, 2022
9b8cc48
enlève doublon ici aussi
linogaliana Mar 22, 2022
b81e377
Ajouts explications bouton Revert + modification .gitgnore via interf…
ddotta Mar 30, 2022
d93e7ab
MAJ des copies d'écran pour la partie SSP Cloud (#423)
ddotta Apr 12, 2022
ef54dc5
Correction coquille (#424)
remimal Apr 12, 2022
604f70b
Remplacement fonction ods_sheets() par list_ods_sheets() (#426)
ddotta Apr 16, 2022
929f352
lien vers forum du cirad
py-b Apr 22, 2022
7b9aea6
Update Fiche_api.Rmd (#429)
JeanDupin May 11, 2022
bfc1870
Suggest a link to frrrenchies (#430)
pachevalier May 16, 2022
87fdb2f
update files interface pics + explain diffusion folder (#431)
avouacr Jun 17, 2022
74aae02
correction marginale d'une typo (#433)
ThomasFaria Jun 17, 2022
edeff9d
Update Fiche_git_utilisation.Rmd (#432)
linogaliana Jun 17, 2022
77f4907
Ajout de la fiche targets (#397)
linogaliana Jul 16, 2022
0d4a8ef
complète fiche bdd (#435)
py-b Jul 21, 2022
10d6323
petite correction de la hiérarchie des titres
linogaliana Jul 21, 2022
6a54242
Relecture rmarkdown (#428)
ddotta Jul 21, 2022
c6bf8f4
Changement url lancement du service utilitr dans CONTRIBUTING (#405)
pierre-lamarche Jul 28, 2022
7477e3d
amélioration mineure targets
py-b Aug 8, 2022
41afa68
fait apparaître boîte specificite
py-b Aug 21, 2022
9ab53fa
New elements on databases (#439)
linogaliana Oct 4, 2022
6b08275
installe doremifasolData source
py-b Oct 5, 2022
6a0b9b2
Onyxia image (#440)
pierre-lamarche Oct 5, 2022
ae0bd46
Update README.md (#442)
linogaliana Oct 6, 2022
40528be
Modification README marginale
linogaliana Oct 7, 2022
2a3efc2
Correction on docker image (#445)
linogaliana Oct 17, 2022
471329a
change dependencies install
linogaliana Oct 17, 2022
d2b024c
Update glossary.yml
linogaliana Oct 17, 2022
17f2ba4
Ajout lien vers le chapitre des expressions régulières du livre R for…
ddotta Nov 15, 2022
ae9522c
Compléter la fiche sur l'utilisation des ressources
oliviermeslin Dec 2, 2022
14bdf12
Font Awesome a inversé le nom d'une icône
oliviermeslin Dec 5, 2022
f8d98b7
Fontawesome a changé le nom de toutes les icônes
oliviermeslin Dec 5, 2022
d0b38b5
Ajouter un nom à un chunk
oliviermeslin Dec 5, 2022
42d846a
Mettre des noms aux chunks pour débugguer
oliviermeslin Dec 5, 2022
239888a
Ajouter encore des noms de chunks
oliviermeslin Dec 5, 2022
7ee3941
Résoudre le bug
oliviermeslin Dec 5, 2022
f5247ce
Coquille
oliviermeslin Dec 27, 2022
7f71d54
Enlever des warnings
oliviermeslin Dec 27, 2022
7550f7b
Coquille
oliviermeslin Dec 27, 2022
5924887
Correction d'une erreur
oliviermeslin Dec 27, 2022
194ee6a
Merge branch 'master' of https://github.com/InseeFrLab/utilitR
oliviermeslin Dec 28, 2022
af635fb
Retire les accolades (#458)
linogaliana Jan 10, 2023
5a190a6
Série de propositions très bien qu'on a trainé à valider pour une obs…
linogaliana Jan 19, 2023
e76475c
Small addings to R on SSP Cloud (#461)
fBedecarrats Jan 25, 2023
3fe7cb0
Quarto book ✨ 🎉 (#463)
linogaliana Jan 27, 2023
726d68c
Remove some dependencies (#464)
linogaliana Jan 28, 2023
7b99a43
corrige chemin vers images
py-b Feb 8, 2023
4114065
saute une ligne
py-b Feb 8, 2023
41fe832
quarto repo-branch:master (#472)
py-b Feb 8, 2023
47ce811
MAJ url sspcloud du badge
py-b Feb 8, 2023
fe51694
script init : cd utilitr aussi pour mainteneurs
py-b Feb 8, 2023
d47b13c
PR template avec quarto (#473)
py-b Feb 9, 2023
defd7d0
Bonnes pratiques (#466)
linogaliana Feb 16, 2023
a50f399
corrige lien
py-b Feb 24, 2023
d804710
typo (#474)
antoine-palazz Mar 22, 2023
214ed5d
Initialisation (1er jet) pour la fiche sur Parquet (#475)
ddotta Mar 27, 2023
66c9bdf
Réécriture recommandation
oliviermeslin Mar 27, 2023
086ecfb
Modifications de forme
oliviermeslin Mar 27, 2023
97f1d4e
Supprimer un doublon
oliviermeslin Mar 27, 2023
60eaab1
Déplacer un paragraphe
oliviermeslin Mar 27, 2023
ef5a613
Ajouts sur les parquets partitionnés
oliviermeslin Mar 27, 2023
8cf1630
Complément sur les fichiers partitionnés
oliviermeslin Mar 27, 2023
c064959
Amélioration présentation du format Parquet
oliviermeslin Mar 27, 2023
61f6496
Renommer une table
oliviermeslin Mar 27, 2023
183f638
Réécriture partie Parquet partitionné
oliviermeslin Mar 27, 2023
ef1d79a
Finalisation partie partition
oliviermeslin Mar 27, 2023
c9db49a
Ajouter une ligne
oliviermeslin Mar 27, 2023
3461ad8
Points-virgules
oliviermeslin Mar 27, 2023
ac07bb9
Ajouter la fiche parquet
oliviermeslin Mar 27, 2023
c5fb3ea
Déplacer des éléments
oliviermeslin Mar 27, 2023
3597014
Structure
oliviermeslin Mar 27, 2023
ad626de
Compléments sur dplyr
oliviermeslin Mar 27, 2023
10d7080
Améliorations de la partie duckdb
oliviermeslin Mar 27, 2023
e7ffae7
Compléments divers
oliviermeslin Mar 27, 2023
7ecef56
Coquille de forme
oliviermeslin Mar 27, 2023
ffa1253
Update 03_Fiches_thematiques/Fiche_import_fichiers_parquet.qmd
oliviermeslin Mar 28, 2023
8884e1d
Intégrer les commentaires de Romain
oliviermeslin Mar 28, 2023
a0c5fe4
Merge branch 'dev_parquet' of https://github.com/InseeFrLab/utilitR i…
oliviermeslin Mar 28, 2023
eb55e6b
Complément
oliviermeslin Mar 28, 2023
1769bcf
Parler de duckdb dans les recommandations
oliviermeslin Mar 28, 2023
543f277
Remarque de Jean-François
oliviermeslin Mar 28, 2023
aed18f6
Idem
oliviermeslin Mar 28, 2023
435f4f3
Idem
oliviermeslin Mar 28, 2023
e6b281f
Itou
oliviermeslin Mar 28, 2023
b0b071a
Ibid
oliviermeslin Mar 28, 2023
c526e60
Précision
oliviermeslin Mar 28, 2023
46cd826
Corrections mineures (#477)
ddotta Mar 28, 2023
b72dda2
Complément sur duckdb
oliviermeslin Apr 10, 2023
f9a6462
Merge branch 'dev_parquet' of https://github.com/InseeFrLab/utilitR i…
oliviermeslin Apr 10, 2023
2d6dcf0
Compléments et reformulations
oliviermeslin Apr 10, 2023
3a78cc4
Ajout recommandation
oliviermeslin Apr 11, 2023
b59e70d
Répondre à une remarque
oliviermeslin Apr 11, 2023
73a3b80
Préciser les choses sur read_parquet
oliviermeslin Apr 11, 2023
a9c12f3
Déplacer une remarque
oliviermeslin Apr 11, 2023
2a2e486
Ajout liste verbes tidyveres compatibles avec arrow (#482)
ddotta Apr 11, 2023
33af169
Merge branch 'dev_parquet' of https://github.com/InseeFrLab/utilitR i…
oliviermeslin Apr 11, 2023
6811622
Commenter toutes les parties sur duckdb
oliviermeslin Apr 11, 2023
b8ea7a2
Correction de la commande git credential (#484)
ddotta May 5, 2023
db480e3
Correction lien vers la création de jetons d'accès (#483)
ddotta May 5, 2023
705e89a
Remplace Specificite par Insee dans les box (#471)
ddotta May 5, 2023
c98607f
add link online documentation sspcloud (#488)
TanguyBarthelemy Jun 22, 2023
e66e82c
Update Fiche_utiliser_ressources.qmd
acazaubiel Aug 9, 2023
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
Prev Previous commit
Next Next commit
complète fiche bdd (InseeFrLab#435)
* droits pour écrire dans base
* id et pwd dans .Renviron
py-b authored Jul 21, 2022
commit 0d4a8effe0233647edfada635a2d7c1e0b274e97
8 changes: 5 additions & 3 deletions 03_Fiches_thematiques/Fiche_connexion_bdd.Rmd
Original file line number Diff line number Diff line change
@@ -162,7 +162,9 @@ count_log <- dbGetQuery(conn,
from count_log")
```

La première requête crée une table temporaire `count_log` qui contient le département et la commune de chaque local, ainsi qu'une variable indicatrice indiquant s'il s'agit d'un logement. Cette requête est envoyée au serveur avec `dbSendQuery` et ne renvoie donc aucun résultat vers `R`. La seconde requête compte le nombre de logements par commune à partir de la table temporaire et renvoie vers `R` un objet de type `data.frame` appelé `count_log` donnant le nombre de logements (`nb_logement`) par commune (`code_com`).
La première requête crée une table temporaire `count_log` qui contient le département et la commune de chaque local, ainsi qu'une variable indicatrice indiquant s'il s'agit d'un logement. Cette requête est envoyée au serveur avec `dbSendQuery` et ne renvoie donc aucun résultat vers `R`. La création de cette table temporaire nécessite d'avoir les droits en écriture dans la base.

La seconde requête compte le nombre de logements par commune à partir de la table temporaire et renvoie vers `R` un objet de type `data.frame` appelé `count_log` donnant le nombre de logements (`nb_logement`) par commune (`code_com`).

::: {.remarque}
Il est fréquent que les bases de données contiennent des données volumineuses, dont le téléchargement et le traitement peuvent dépasser les capacités de votre poste local. C'est pourquoi **il est recommandé d'éviter de télécharger les données brutes et de réaliser les traitements en `R`.** Dans la mesure du possible, **il vaut mieux faire exécuter les traitements par la base de données, et ne récupérer en `R` qu'un résultat agrégé.**
@@ -227,9 +229,9 @@ dbDisconnect(conn)

## Quelques bonnes pratiques

En général, on se connecte à une base de données à l'aide d'un identifiant et d'un mot de passe. **Une bonne pratique consiste à ne pas inscrire ces éléments directement dans le code** (en particulier si on veut partager le code en question avec d'autres personnes). Dans ce cas, on pourra utiliser la fonction `askForPassword()` du package `rstudioapi`, qui permet d'obtenir une boîte de dialogue interactive pour la saisie de ces éléments.
En général, on se connecte à une base de données à l'aide d'un identifiant et d'un mot de passe. **Une bonne pratique consiste à ne pas inscrire ces éléments directement dans le code** (en particulier si on veut partager le code en question avec d'autres personnes). Dans ce cas, on pourra utiliser la fonction `askForPassword()` du package `rstudioapi`, qui permet d'obtenir une boîte de dialogue interactive pour la saisie de ces éléments. Une autre façon de procéder est d'utiliser un fichier `.Renviron` pour disposer de ces informations sous forme de variables d'environnement.

Il est fréquent que les bases de données contiennent des données volumineuses, dont le téléchargement et le traitement peuvent dépasser les capacités de votre poste local. C'est pourquoi **il est recommandé d'éviter de télécharger les données brutes et de réaliser les traitements en `R`.** Dans la mesure du possible, **il vaut mieux faire exécuter les traitements par la base de données, et ne récupérer en `R` qu'un résultat agrégé.**
Il est fréquent que les bases de données contiennent des données volumineuses, dont le téléchargement et le traitement peuvent dépasser les capacités de votre poste local. C'est pourquoi **il est recommandé d'éviter de télécharger les données brutes et de réaliser les traitements en `R`.** Dans la mesure du possible, **il vaut mieux faire exécuter les traitements par la base de données, et ne récupérer en `R` qu'un résultat agrégé** (ceci nécessite parfois d'avoir des droits en écriture sur la base de données).

## Sources