Amélioration de la création des review apps #4523

francoisfreitag · 2024-08-06T16:58:14Z

Générer l’accès direct aux DB de review-apps existantes.

github-actions · 2024-08-20T15:05:43Z

🥁 La recette jetable est prête ! 👉 Je veux tester cette PR !

francoisfreitag · 2024-08-20T15:08:58Z

Bien, tout à l’air de fonctionner. Je n’ai pas eu besoin d’attendre pour que la DB soit UP, je retente une création. Si ça continue de marcher, je mergerai après votre approbation :)

github-actions · 2024-08-20T15:27:48Z

🥁 La recette jetable est prête ! 👉 Je veux tester cette PR !

rsebille

LGTM

rsebille · 2024-08-20T15:33:23Z

clevercloud/review-app-after-success.sh

-PGPORT=$POSTGRESQL_ADDON_PORT \
-PGUSER="$POSTGRESQL_ADDON_USER" \
-make --directory "$APP_HOME" populate_db
+PGDATABASE="$POSTGRESQL_ADDON_DIRECT_URI" make --directory "$APP_HOME" populate_db


Prefer `until` over `while !`. It’s clearer, and in line with changes from #4523.

github-actions · 2024-08-20T15:56:10Z

🥁 La recette jetable est prête ! 👉 Je veux tester cette PR !

francoisfreitag · 2024-08-20T15:56:24Z

clevercloud/pre_run.sh

+until pg_isready --dbname="$POSTGRESQL_ADDON_DIRECT_URI"; do
+    >&2 echo "Postgres is unavailable - sleeping"
+    sleep 1
+done


Humpf. Il lance les managements commands avant de lancer le pre_run 😢

https://github.com/gip-inclusion/les-emplois/actions/runs/10474908629/job/29010299746?pr=4523#step:10:569

Donc... on restore wait_for_db et on le renomme clever_wait_for_db, pour bien indiquer pourquoi on fait ça ?

L’autre solution, maintenant qu’on utilise la connexion directe, la DB semble immédiatement disponible... Donc on ne change rien d’autre que l’option direct-host-only=true et on voit si ça tient ?

Humpf. Il lance les managements commands avant de lancer le pre_run 😢

https://github.com/gip-inclusion/les-emplois/actions/runs/10474908629/job/29010299746?pr=4523#step:10:569

Oo, mais donc ça veux dire que ces managements commands n'ont pas accès à ce qu'on définis dans itou-secrets 😨.

The tasks are launched after the dependencies from requirements.txt have been installed, and before the web server starts.
https://developers.clever-cloud.com/guides/python-django-sample/#managepy-tasks

Ce qui doit correspondre à après POST_BUILD et avant PRE_RUN : https://developers.clever-cloud.com/doc/develop/build-hooks/#post-build

L’autre solution, maintenant qu’on utilise la connexion directe, la DB semble immédiatement disponible... Donc on ne change rien d’autre que l’option direct-host-only=true et on voit si ça tient ?

Ça se tente ! Et si ça passe pas bah on saura qu'il faut le wait_for_db.

Oo, mais donc ça veux dire que ces managements commands n'ont pas accès à ce qu'on définis dans itou-secrets 😨.

Je crois que si : https://github.com/gip-inclusion/les-emplois/blob/master/clevercloud/pre_build.sh

Donc l’expérimentation a parlé avec https://github.com/gip-inclusion/les-emplois/actions/runs/10487260490/job/29047235371?pr=4523, clever lance bien les CC_PYTHON_MANAGE_TASKS avant d’appeler le hook POST_BUILD 😢

The database is always accessed through the POSTGRESQL_ADDON_DIRECT_* variables. The production database has a custom firewall rule that blocks access from the internet, but also prevents connecting through the proxy. For review apps, when the database is starting up, the link over the proxy is unstable and CleverCloud recommends direct access [1]. See #4523 (comment) Let’s make it clear that all environment use direct access, instead of having an unused fallback give a false impression of security. [1] https://developers.clever-cloud.com/doc/addons/postgresql/#direct-access

github-actions · 2024-08-21T09:36:38Z

🥁 La recette jetable est prête ! 👉 Je veux tester cette PR !

Discussing the review app creation issue with the CleverCloud support, they indicated: > L'app essaye de se connecter trop tôt à la DB. Il peut y avoir plusieurs minutes avant la diffusion de l'host de la DB, c'est pourquoi nous recommandons de se connecter en direct host quand c'est pour une app éphémère. CleverCloud documentation also recommends [1] a direct access to bypass the proxy (pgpool), because of the latency for database connections to be registered on the proxy: > A proxy serves all dedicated PostgreSQL databases. In some cases, this can add some latency between applications and their database. If this is an issue, you can generate a direct hostname and port for the add-on to bypass the proxy, using the “Generate direct hostname and port” button in the add-on dashboard. Generating direct access adds new variables to the add-on’s environment, allowing connections without going through the proxy. [1] https://developers.clever-cloud.com/doc/addons/postgresql/#direct-access

The database is always accessed through the POSTGRESQL_ADDON_DIRECT_* variables. The production database has a custom firewall rule that blocks access from the internet, but also prevents connecting through the proxy. For review apps, when the database is starting up, the link over the proxy is unstable and CleverCloud recommends direct access [1]. See #4523 (comment) Let’s make it clear that all environment use direct access, instead of having an unused fallback give a false impression of security. [1] https://developers.clever-cloud.com/doc/addons/postgresql/#direct-access

github-actions · 2024-08-21T10:34:54Z

🥁 La recette jetable est prête ! 👉 Je veux tester cette PR !

francoisfreitag · 2024-08-21T12:42:37Z

Petit résumé pour la postérité :

Clever indique que les problèmes de connexion à la DB immédiatement après le démarrage de l’addon sont connus. La DB apparaît UP, puis n’est plus disponible pendant quelques instants. Le contournement recommandé est l’utilisation d’un accès direct.
Les hooks clever s’exécutent dans l’ordre suivant :
1. PRE_BUILD
2. CC_PYTHON_MANAGE_TASKS
3. POST_BUILD
4. PRE_RUN
Ainsi, si on souhaite attendre que la DB soit up, il faut une management command (proposée en tant que wait_for_db) qui s’exécute avant toutes les autres management commands. Cette commande étant spécifique à CleverCloud, il est dommage de ne pas pouvoir se brancher aux hooks spécifiques à Clever (POST_BUILD). Il serait possible d’ajouter en PRE_BUILD, mais le build n’a pas de dépendance directe sur la base de données, ce qui induirait une attente artificielle.
Au final, la connexion directe semble bien fonctionner sans attendre, et c’est également ce qu’utilise la prod. Pour le moment, aucune attente de la base de données n’a donc été ajoutée.

francoisfreitag added the no-changelog Ne doit pas figurer dans le journal des changements. label Aug 6, 2024

francoisfreitag self-assigned this Aug 6, 2024

francoisfreitag added the 1-recette-jetable [Payé à l’heure] Crée une recette jetable sur CC label Aug 6, 2024

francoisfreitag force-pushed the ff/review-app branch from c2491b4 to a2c2a7d Compare August 7, 2024 07:04