Vincent Adolphe
4fe0a17c53
fix: supprime un parametre inutile dans get_main_query()
2022-10-28 03:03:19 +02:00
Vincent Adolphe
3420a8157c
ref: supprime les alias inutiles dans la requete SQL
2022-10-28 02:16:33 +02:00
Vincent Adolphe
424d1f4fd5
ref: regroupe les fonctions de transformation utilisées dans Row()
2022-10-28 01:55:16 +02:00
Vincent Adolphe
7c4d4eb737
ref: separe les elements de config du code dans settings / settings_defaults
2022-10-28 01:33:56 +02:00
Vincent Adolphe
730bdbe372
feat: de-doublonne les lignes similaires
2022-10-28 00:52:19 +02:00
Vincent Adolphe
cb452c17ff
ref: mise en place algo d'accumulation
...
Cet algo doit donner le meme resultat qu'avant si
la fonction de comparaison des lignes les considere
toutes differentes.
C'est le cas ici
2022-10-28 00:22:33 +02:00
Vincent Adolphe
4296a739aa
fix: n'applique pas slugify() au nom de fichier principal
2022-10-27 11:51:17 +02:00
Vincent Adolphe
cb43ddfe37
feat: change l'ordre de la requete principale en vue de l'algo d'accumulation
2022-10-26 23:53:45 +02:00
Vincent Adolphe
b508f4823f
ref: utilisation d'une ExitStack pour initialiser le contexte
...
+ suppression des commentaires inutiles
2022-10-26 23:32:09 +02:00
Vincent Adolphe
87b032c61d
perf: divise le nombre de requetes par 2 (on passe de 13 a 6)
...
pour info le temps d'execution est divisé d'un facteur de 10/6 soit un
facteur 1000 par rapport au script inital
2022-10-26 21:58:12 +02:00
Vincent Adolphe
2d5a1b3df6
perf: divise le nombre de requetes par 5 (on passe de 65 a 13)
...
pour info le temps d'execution est divisé d'un facteur 3/2 soit un
facteur 600 par rapport au script initial
2022-10-26 21:11:45 +02:00
Vincent Adolphe
ee4191e3e4
ref: limite la tabulation dans la requete SQL
2022-10-26 20:40:54 +02:00
Vincent Adolphe
359f2f34eb
ref: separe les jointures des conditions
2022-10-26 15:44:04 +02:00
Vincent Adolphe
23dd8910c1
ref: LEFT OUTER JOIN sur table principale indic.valeur plutot que sur trans.v_territoires
...
supprime la condition inutile sur trans.v_appartenance.type_ter
2022-10-26 15:35:43 +02:00
Vincent Adolphe
296a2b8d0f
ref: simplifie la requete SQL en enlevant des ref. a des tables inutiles
2022-10-26 15:27:03 +02:00
Vincent Adolphe
bcc93324fb
ref: supprime les cast inutiles dans la requete SQL
2022-10-26 15:17:27 +02:00
Vincent Adolphe
54e04f7d9e
ref: utilise des colonne nommées plutôt que des colonnes numérotés
2022-10-26 14:04:46 +02:00
Vincent Adolphe
def1646152
ref: reecrit la requete SQL principale
2022-10-26 13:57:03 +02:00
Vincent Adolphe
6005fc6036
feat: enrichit Query avec execute() et Row avec une exception plus lisible
2022-10-26 13:50:41 +02:00
Vincent Adolphe
a74ebd9b42
feat: normalise la sortie de Row()
2022-10-26 13:21:24 +02:00
Vincent Adolphe
6b1e5a00d2
ref: passe les titres de colonne de maniere statique, simplifie le code
2022-10-26 11:34:19 +02:00
pocli
243762efc1
ref: classe generique Query/Row
2022-10-26 00:55:51 +02:00
pocli
ac80fca47a
perf: diminution du temps d'execution par 400
...
necessite l'ajout d'une vue cote postgresql pour eviter l'avalanche de
petites requetes pour obtenir le departement et son nom
CREATE OR REPLACE VIEW trans.v_appartenance AS
SELECT DISTINCT ON (appartenance.depcom) 'COMMUNE'::text AS type_ter, appartenance.depcom AS id_ter, appartenance.dep AS dep FROM trans.appartenance
UNION ALL
SELECT DISTINCT ON (appartenance.id_epci) 'EPCI'::text AS type_ter, appartenance.id_epci AS id_ter, appartenance.dep AS dep FROM trans.appartenance
UNION ALL
SELECT DISTINCT ON (appartenance.dep) 'DEPARTEMENT'::text AS type_ter, appartenance.dep AS id_ter, appartenance.dep AS dep FROM trans.appartenance
UNION ALL
SELECT DISTINCT ON (appartenance.id_pnr) 'PNR'::text AS type_ter, appartenance.id_pnr AS id_ter, appartenance.dep AS dep FROM trans.appartenance
WHERE appartenance.id_pnr != 'HORS PNR'
UNION ALL
SELECT DISTINCT ON (appartenance.id_scot) 'SCOT'::text AS type_ter, appartenance.id_scot AS id_ter, appartenance.dep AS dep FROM trans.appartenance
WHERE appartenance.id_scot != 'HORS SCOT'
;
alter view trans.v_appartenance owner to obsclimat;
grant select on trans.v_appartenance to sitels_readonly;
2022-10-25 23:45:17 +02:00
Vincent Adolphe
56dc97f589
ref: simplification du code
2022-10-25 18:57:39 +02:00
Vincent Adolphe
c29b1bad16
feat: ameliore les messages de progression
2022-10-25 18:56:59 +02:00
Vincent Adolphe
634b83dc27
ref: explicite les requetes SQL
2022-10-25 18:55:55 +02:00
Vincent Adolphe
2c57940765
ref: factorise les parametres CSV
2022-10-25 15:46:33 +02:00
Vincent Adolphe
21139deee7
ref: decoupage de long_main()
2022-10-25 15:38:17 +02:00
Vincent Adolphe
a5c7f451f1
fix: ajout indicateur manquant photovoltaique/production
2022-10-20 23:56:17 +02:00
Vincent Adolphe
079fdbd64f
feat: specifie les filieres plutot que les indicateurs
...
Permet d'avoir les lignes ayant la meme filiere et le meme
type d'energie plus proche.
2022-10-20 23:35:22 +02:00
Vincent Adolphe
f72d6f1dd0
ref: simplifie l'ecriture
2022-10-20 17:31:34 +02:00
Vincent Adolphe
2c01bf6798
ref(main.py): simplifie la manipulation de my_row
2022-10-20 17:30:13 +02:00
Vincent Adolphe
9e45e3b2d2
ref(main.py): ajout get_filieres() get_filieres_files(), get_filieres_csvwriters
2022-09-05 22:39:52 +02:00
Vincent Adolphe
39ce837492
fix(main.py): ajout de fermeture explicite des fichiers
2022-09-05 22:38:17 +02:00
Vincent Adolphe
54fb1a2dd1
ref(csv): pas besoin de passer par un buffer intermediaire
2022-09-05 16:19:10 +02:00
Vincent Adolphe
34065e52e3
ref(main.py): simplifie l'import LONgiture, LATitude
2022-09-05 16:14:59 +02:00
Vincent Adolphe
745af4e4dc
ref(code_dep_nom_dep): simplifie l'ecriture
2022-09-05 16:13:34 +02:00
Vincent Adolphe
478e2f5d55
feat(main.py): utilise des tetes de colonne en majuscule
2022-09-05 13:31:32 +02:00
Vincent Adolphe
a255308b7c
ref(main.py): simplifie l'ecriture des colonnes
2022-09-05 13:28:38 +02:00
Vincent Adolphe
ad1f28e74b
ref(main.py): utilise un dictionnaire plutot qu'un "case"
2022-09-05 13:11:35 +02:00
Vincent Adolphe
c78b953571
ref(main.py): ecriture des entetes de colonnes
2022-09-05 13:05:07 +02:00
Vincent Adolphe
1d7c7b790d
feat(main): change la representation des colonnes None par ''
2022-09-05 10:36:06 +02:00
Vincent Adolphe
fadee12106
ref(main): factorise le code de representation des colonnes
2022-09-05 10:35:39 +02:00
Vincent Adolphe
8045575610
style: delete trailing ws, isort, blake, flake8
2022-08-24 10:44:41 +02:00
Nicolas Ribot
b0909328d4
fix: adaptation des indicateurs
2022-08-24 10:38:00 +02:00
Nicolas Ribot
a504b2a040
fix: adaptation postgresql + requetes SQL
...
nicolas ribot: 12 aout 2022:
avec psycopg2, si une erreur sql arrive, le cursor n'est plus valide => transaction annulée
PARCOURS DES TERRITOIRES POUR L'INDICATEUR EN COURS DE TRAITEMENT
I_ modifié en indic. et le reste en minuscules
T_ par trans.
::text au niveau des id_indic
i. modifié par v.
2022-08-24 10:35:11 +02:00
pocli
f11c1857ac
ref: decouple l'ouverture de la bdd et du fichier csv du code principal
2022-08-11 17:48:56 +02:00
pocli
d997b77f8a
build: ajoute une cible sbuild, plus simple
2022-08-11 16:24:51 +02:00
pocli
9601de323f
fix: ajuste .gitignore et corrige le chemin de _version.py
2022-08-11 16:17:55 +02:00
pocli
1722f4aa77
ref(main.py): passage isort + black
2022-08-11 15:27:01 +02:00