Graphique des révisions

52 Révisions (main)

Auteur SHA1 Message Date
Vincent Adolphe 4fe0a17c53 fix: supprime un parametre inutile dans get_main_query() 2022-10-28 03:03:19 +02:00
Vincent Adolphe 3420a8157c ref: supprime les alias inutiles dans la requete SQL 2022-10-28 02:16:33 +02:00
Vincent Adolphe 424d1f4fd5 ref: regroupe les fonctions de transformation utilisées dans Row() 2022-10-28 01:55:16 +02:00
Vincent Adolphe 7c4d4eb737 ref: separe les elements de config du code dans settings / settings_defaults 2022-10-28 01:33:56 +02:00
Vincent Adolphe 730bdbe372 feat: de-doublonne les lignes similaires 2022-10-28 00:52:19 +02:00
Vincent Adolphe cb452c17ff ref: mise en place algo d'accumulation
Cet algo doit donner le meme resultat qu'avant si
la fonction de comparaison des lignes les considere
toutes differentes.
C'est le cas ici
2022-10-28 00:22:33 +02:00
Vincent Adolphe 4296a739aa fix: n'applique pas slugify() au nom de fichier principal 2022-10-27 11:51:17 +02:00
Vincent Adolphe cb43ddfe37 feat: change l'ordre de la requete principale en vue de l'algo d'accumulation 2022-10-26 23:53:45 +02:00
Vincent Adolphe b508f4823f ref: utilisation d'une ExitStack pour initialiser le contexte
+ suppression des commentaires inutiles
2022-10-26 23:32:09 +02:00
Vincent Adolphe 87b032c61d perf: divise le nombre de requetes par 2 (on passe de 13 a 6)
pour info le temps d'execution est divisé d'un facteur de 10/6 soit un
facteur 1000 par rapport au script inital
2022-10-26 21:58:12 +02:00
Vincent Adolphe 2d5a1b3df6 perf: divise le nombre de requetes par 5 (on passe de 65 a 13)
pour info le temps d'execution est divisé d'un facteur 3/2 soit un
facteur 600 par rapport au script initial
2022-10-26 21:11:45 +02:00
Vincent Adolphe ee4191e3e4 ref: limite la tabulation dans la requete SQL 2022-10-26 20:40:54 +02:00
Vincent Adolphe 359f2f34eb ref: separe les jointures des conditions 2022-10-26 15:44:04 +02:00
Vincent Adolphe 23dd8910c1 ref: LEFT OUTER JOIN sur table principale indic.valeur plutot que sur trans.v_territoires
supprime la condition inutile sur trans.v_appartenance.type_ter
2022-10-26 15:35:43 +02:00
Vincent Adolphe 296a2b8d0f ref: simplifie la requete SQL en enlevant des ref. a des tables inutiles 2022-10-26 15:27:03 +02:00
Vincent Adolphe bcc93324fb ref: supprime les cast inutiles dans la requete SQL 2022-10-26 15:17:27 +02:00
Vincent Adolphe 54e04f7d9e ref: utilise des colonne nommées plutôt que des colonnes numérotés 2022-10-26 14:04:46 +02:00
Vincent Adolphe def1646152 ref: reecrit la requete SQL principale 2022-10-26 13:57:03 +02:00
Vincent Adolphe 6005fc6036 feat: enrichit Query avec execute() et Row avec une exception plus lisible 2022-10-26 13:50:41 +02:00
Vincent Adolphe a74ebd9b42 feat: normalise la sortie de Row() 2022-10-26 13:21:24 +02:00
Vincent Adolphe 6b1e5a00d2 ref: passe les titres de colonne de maniere statique, simplifie le code 2022-10-26 11:34:19 +02:00
pocli 243762efc1 ref: classe generique Query/Row 2022-10-26 00:55:51 +02:00
pocli ac80fca47a perf: diminution du temps d'execution par 400
necessite l'ajout d'une vue cote postgresql pour eviter l'avalanche de
petites requetes pour obtenir le departement et son nom

CREATE OR REPLACE VIEW trans.v_appartenance AS
SELECT DISTINCT ON (appartenance.depcom) 'COMMUNE'::text AS type_ter, appartenance.depcom AS id_ter, appartenance.dep AS dep FROM trans.appartenance
UNION ALL
SELECT DISTINCT ON (appartenance.id_epci) 'EPCI'::text AS type_ter, appartenance.id_epci AS id_ter, appartenance.dep AS dep FROM trans.appartenance
UNION ALL
SELECT DISTINCT ON (appartenance.dep) 'DEPARTEMENT'::text AS type_ter, appartenance.dep AS id_ter, appartenance.dep AS dep FROM trans.appartenance
UNION ALL
SELECT DISTINCT ON (appartenance.id_pnr) 'PNR'::text AS type_ter, appartenance.id_pnr AS id_ter, appartenance.dep AS dep FROM trans.appartenance
WHERE appartenance.id_pnr != 'HORS PNR'
UNION ALL
SELECT DISTINCT ON (appartenance.id_scot) 'SCOT'::text AS type_ter, appartenance.id_scot AS id_ter, appartenance.dep AS dep FROM trans.appartenance
WHERE appartenance.id_scot != 'HORS SCOT'
;

alter view trans.v_appartenance owner to obsclimat;

grant select on trans.v_appartenance to sitels_readonly;
2022-10-25 23:45:17 +02:00
Vincent Adolphe 56dc97f589 ref: simplification du code 2022-10-25 18:57:39 +02:00
Vincent Adolphe c29b1bad16 feat: ameliore les messages de progression 2022-10-25 18:56:59 +02:00
Vincent Adolphe 634b83dc27 ref: explicite les requetes SQL 2022-10-25 18:55:55 +02:00
Vincent Adolphe 2c57940765 ref: factorise les parametres CSV 2022-10-25 15:46:33 +02:00
Vincent Adolphe 21139deee7 ref: decoupage de long_main() 2022-10-25 15:38:17 +02:00
Vincent Adolphe a5c7f451f1 fix: ajout indicateur manquant photovoltaique/production 2022-10-20 23:56:17 +02:00
Vincent Adolphe 079fdbd64f feat: specifie les filieres plutot que les indicateurs
Permet d'avoir les lignes ayant la meme filiere et le meme
type d'energie plus proche.
2022-10-20 23:35:22 +02:00
Vincent Adolphe f72d6f1dd0 ref: simplifie l'ecriture 2022-10-20 17:31:34 +02:00
Vincent Adolphe 2c01bf6798 ref(main.py): simplifie la manipulation de my_row 2022-10-20 17:30:13 +02:00
Vincent Adolphe 9e45e3b2d2 ref(main.py): ajout get_filieres() get_filieres_files(), get_filieres_csvwriters 2022-09-05 22:39:52 +02:00
Vincent Adolphe 39ce837492 fix(main.py): ajout de fermeture explicite des fichiers 2022-09-05 22:38:17 +02:00
Vincent Adolphe 54fb1a2dd1 ref(csv): pas besoin de passer par un buffer intermediaire 2022-09-05 16:19:10 +02:00
Vincent Adolphe 34065e52e3 ref(main.py): simplifie l'import LONgiture, LATitude 2022-09-05 16:14:59 +02:00
Vincent Adolphe 745af4e4dc ref(code_dep_nom_dep): simplifie l'ecriture 2022-09-05 16:13:34 +02:00
Vincent Adolphe 478e2f5d55 feat(main.py): utilise des tetes de colonne en majuscule 2022-09-05 13:31:32 +02:00
Vincent Adolphe a255308b7c ref(main.py): simplifie l'ecriture des colonnes 2022-09-05 13:28:38 +02:00
Vincent Adolphe ad1f28e74b ref(main.py): utilise un dictionnaire plutot qu'un "case" 2022-09-05 13:11:35 +02:00
Vincent Adolphe c78b953571 ref(main.py): ecriture des entetes de colonnes 2022-09-05 13:05:07 +02:00
Vincent Adolphe 1d7c7b790d feat(main): change la representation des colonnes None par '' 2022-09-05 10:36:06 +02:00
Vincent Adolphe fadee12106 ref(main): factorise le code de representation des colonnes 2022-09-05 10:35:39 +02:00
Vincent Adolphe 8045575610 style: delete trailing ws, isort, blake, flake8 2022-08-24 10:44:41 +02:00
Nicolas Ribot b0909328d4 fix: adaptation des indicateurs 2022-08-24 10:38:00 +02:00
Nicolas Ribot a504b2a040 fix: adaptation postgresql + requetes SQL
nicolas ribot: 12 aout 2022:
avec psycopg2, si une erreur sql arrive, le cursor n'est plus valide => transaction annulée

PARCOURS DES TERRITOIRES POUR L'INDICATEUR EN COURS DE TRAITEMENT
I_ modifié en indic. et le reste en minuscules
T_ par trans.
::text au niveau des id_indic
i. modifié par v.
2022-08-24 10:35:11 +02:00
pocli f11c1857ac ref: decouple l'ouverture de la bdd et du fichier csv du code principal 2022-08-11 17:48:56 +02:00
pocli d997b77f8a build: ajoute une cible sbuild, plus simple 2022-08-11 16:24:51 +02:00
pocli 9601de323f fix: ajuste .gitignore et corrige le chemin de _version.py 2022-08-11 16:17:55 +02:00
pocli 1722f4aa77 ref(main.py): passage isort + black 2022-08-11 15:27:01 +02:00