Travis utilise install_zds.sh #5299

A-312 · 2019-03-10T20:39:17Z

Travis utilise le même script de install_zds (ref : #5188 (comment) et #5143 (comment))

Corrige : fix #5127 , fix: #5128 , fix #5265 , fix #5144

Note : #5144 : Gérer l'installation de jdk nous même est obligatoire pour avoir le même script d'installation avec travis.

Prêt à Q/A

A-312 · 2019-03-10T20:43:38Z

todo :

Avant le merge : Fold travis_script, export le script dans le header. :)
Beautify before_install
: Vérifier que les commandes make arrête le script en cas d'erreur : https://travis-ci.org/zestedesavoir/zds-site/builds/504397504

coveralls · 2019-03-10T20:57:14Z

Coverage increased (+6.01%) to 80.296% when pulling 0e60225 on A-312:addjdk11withtravis into 5f68e0e on zestedesavoir:dev.

A-312 · 2019-03-10T22:31:28Z

Mon script fonctionne bien mais on a un problème extérieure avec les fixtures.

Le problème ne vient pas de ma PR car, il a été rencontré ici : https://zestedesavoir.com/forums/sujet/12174/installation-locale-du-zds/?page=1#p200207 avec l'ancien script d’installation

A-312 · 2019-03-11T00:46:19Z

J'ai activé zmd mais il génère trop de log

artragis · 2019-03-11T06:11:05Z

J'ai activé zmd mais il génère trop de log

pour l'instant tant pis, on corrigera plus tard.

A-312 · 2019-03-11T08:36:53Z

pour l'instant tant pis, on corrigera plus tard.

le principal problème c'est ça (trop long pour s'afficher sur travis) :

artragis · 2019-03-11T12:28:20Z

Ok, il faut donc augmenter le niveau de log du logger dans epub_utils

diff --git a/zds/tutorialv2/epub_utils.py b/zds/tutorialv2/epub_utils.py
index d28a62fe5..c1a53bc19 100644
--- a/zds/tutorialv2/epub_utils.py
+++ b/zds/tutorialv2/epub_utils.py
@@ -155,9 +155,10 @@ def build_ebook(published_content_entity, working_dir, final_file_path):
     build_content_opf(published_content_entity, chapters, images, ops_dir)
     build_container_xml(meta_inf_dir_path)
     build_nav_xhtml(ops_dir, published_content_entity, chapters)
-
+    zip_logger = logging.getLogger(__name__ + '.zip')
+    zip_logger.setLevel(logging.WARN)
     shutil.make_archive(str(final_file_path), format='zip', root_dir=str(Path(working_dir, 'ebook')),
-                        logger=logging.getLogger(__name__))
+                        logger=zip_logger)
     shutil.move(str(final_file_path) + '.zip', str(final_file_path))

A-312 · 2019-03-11T18:36:55Z

@artragis ça n'a rien changé : https://travis-ci.org/zestedesavoir/zds-site/jobs/504841723

artragis · 2019-03-11T18:44:14Z

bah disons que les logs que tu avais cité ne sont plus là. donc si, ça a marché.
là ce sont d'autres logs. Et c'est au niveau de la config de l'appli qu'il faut réduire la verbosité pour mettre "INFO" plutôt que DEBUG

A-312 · 2019-03-11T23:12:12Z

artragis : J'ai réduit le niveau des logs :)

Q/A :

debian 9.8 :

xzdec: success.

* Load virtualenv
* [+virtualenv] installing `virtualenv 16.2.0` with pip
./scripts/install_zds.sh: ligne 192: pip : commande introuvable
* [+virtualenv] creating virtualenv
Error: [Errno 30] Read-only file system: 'lib' -> '/home/a312/zds/zds-site/zdsenv/lib64'

* Load virtualenv
* activating venv `zdsenv`
./scripts/install_zds.sh: ligne 216: ./zdsenv/bin/activate: Aucun fichier ou dossier de ce type
!! No virtualenv, cannot continue
Makefile:7 : la recette pour la cible « install-linux-full » a échouée
make: *** [install-linux-full] Erreur 1

C'est pip3 et python3, sinon python retourne python2.7...

artragis · 2019-03-13T20:13:04Z

https://travis-ci.org/zestedesavoir/zds-site/jobs/505458501#L2301 => "command coverage not found"

A-312 · 2019-03-14T19:20:12Z

Surement le "retry_pip" qui bloque, il faudrait essayer "pip"

artragis · 2019-03-17T09:14:55Z

non ça semble plutôt être le fait qu'avant on utilisait pip install -r requirements-dev.txt. Il semble manquer un +prod lorsque tu fais ./scripts/install_zds.sh --answer-yes --detect-os-version --travis-output $zds_install_argument

D'ailleurs le nom install_back_with_prod est assez mal choisi c'est plutôt install_mysql_dev_env

A-312 · 2019-03-17T09:41:46Z

non ça semble plutôt être le fait qu'avant on utilisait pip install -r requirements-dev.txt. Il semble manquer un +prod lorsque tu fais ./scripts/install_zds.sh --answer-yes --detect-os-version --travis-output $zds_install_argument

D'ailleurs le nom install_back_with_prod est assez mal choisi c'est plutôt install_mysql_dev_env

Normalement il est compris dans : $zds_install_argument

https://github.com/zestedesavoir/zds-site/pull/5299/files#diff-872477f61524f7941c1ab3437f47e96dR31

artragis · 2019-03-18T06:21:16Z

Normalement

pour vérifier, fais un echo avant alors

A-312 · 2019-03-22T23:30:59Z

j'ai rajouté un echo

artragis · 2019-04-01T07:09:49Z

Ca change rien, mais j'ai investigué : c'est déjà comme ça aujourd'hui. Remets le travis_retry et je mergerai.

A-312 · 2019-04-01T07:27:20Z

J'essaye deux choses avant, je pense savoir d'où vient le problème.

A-312 · 2019-04-01T12:59:04Z

Il faudra vérifier si source ./scripts/ci_turbo.sh est bien scopé quand c'est lié au front. Que l'export soit bien dans l'ensemble du script travis et pas seulement le fichier qui l'inclue.

A-312 · 2019-04-01T15:27:48Z

Le coverage se fait sur les 3 premiers tests, il faudrait peut etre le faire sur un seul. Il me semble inutile de le lancer 3 fois.

A-312 · 2019-04-15T10:55:33Z

@artragis On tente ma PR comme elle est ?

En amélioration, il y aurait :

Réfléchir si l'installation de texlive via install_zds est intéressante, on pourrait utiliser l'ancien script de travis.yml pour gagner du temps ;
Gérer le temps de chaque tache "folder_travis" en sh (pour qu'il s'affiche dans les logs à droite de la ligne) ;
~~Faire coverage une seule fois et non sur les 3 tests, l'enlever du premier test qui fait 18 min, diminuerait le temps nécessaire pour faire tourner travis.~~ ----> edit : impossible apparement chaque test fait des choses différentes avec coverage.

Il faudrait vérifier si ma modification (passage d'apt-get à pip) avec python3-setuptools et libxml2-dev n'est pas problématique, sous debian j'ai eu un problème avec le package "wheel" je ne sais pas si c'est lié. :/ J'hésite à le remettre, il faudrait tester à nouveau, (je reçois bientôt ma nouvelle carte graphique). ---> edit : J'ai remis comme c'était avant, donc on installe les packages comme c'était avant cette pr.

artragis · 2019-04-15T11:15:23Z

on va tenter comme ça, je te propose de faire un rebase pour être sûr que tout marche bien.

A-312 · 2019-04-15T11:16:47Z

Ok je fais ça demain. J'aurais ma nouvelle carte graphique, je pourrais donc lancer la VM ! :)

A-312 · 2019-04-19T19:41:43Z

C'est passé : https://travis-ci.org/zestedesavoir/zds-site/builds/522269334 / Je rebase

Si l'avion casse la checklist...

A-312 · 2019-04-19T19:46:32Z

@artragis prêt à merge (si le test passe).

artragis · 2019-04-20T06:46:04Z

Le temps de build a vachement augmenté alors qu'on avait réussi à le faire baisser à 10 minutes environ. Je pense pas que du coup ça soit acceptable.

A-312 · 2019-04-20T08:18:59Z

Je pensais que : 8191843 allait être suffisant mais le temps d'installation reste aussi long. :( à voir ce que donne mon dernier commit 28fcd34

A-312 · 2019-04-20T09:12:52Z

@artragis Voila, rapide comme un avion !

A-312 mentioned this pull request Mar 10, 2019

[TODO] Script d'installation & Travis ci A-312/zds-site#8

Closed

4 tasks

A-312 mentioned this pull request Mar 12, 2019

Pourquoi utiliser yarn pour lancer gulp ? #5179

Closed

artragis added this to in review in Objectif v28.2 Apr 17, 2019

A-312 added 3 commits April 19, 2019 21:42

Travis utilise le même script que nous

9e24fe0

Bypass la selection Humaine de l'OS...

0a767ca

Sans hack

66f069d

A-312 added 14 commits April 19, 2019 21:42

export les variables

689fa96

corrige une erreur de c/c dans echo (incidence visuelle)

58c81f0

J'ai oublié de définir la catégorie de zds_fold pour install_zds.sh

70a20dd

(test scope)

eda8b46

(undo test)

56dc6ad

export ZDS_ENV

f11cd4f

exit 1 si erreur

5cfd8ba

zds_fold_category n'utilisait pas la bonne variable

3a1259a

ZDS_ENV, 2ème essai

d769cde

Déplace l'error handler dans le script parent

e494a79

Apparement j'avais oublié de mettre le lint du frontend :')

b95fdab

Si l'avion casse la checklist...

Démarre zmd pour coverage

80ac3cd

Ajout du chemin relatif, plutôt que la commande global

efdde7a

Undo passage apt-get à pip. On remet comme c'était avant

891089d

A-312 force-pushed the addjdk11withtravis branch from 2a39f42 to 891089d Compare April 19, 2019 19:43

A-312 mentioned this pull request Apr 19, 2019

Améliorer travis.yml #5308

Closed

4 tasks

maj versions testées

6694eaf

A-312 added 3 commits April 20, 2019 09:31

On installe pas tex

8c7c458

Accélère l'installation de latex

8191843

no fixture

28fcd34

A-312 added 2 commits April 20, 2019 10:36

fix texhash: command not found

f8a5bd0

texhash est déjà exécuté directement après l'installation

0e60225

artragis merged commit c6014ac into zestedesavoir:dev Apr 20, 2019

Objectif v28.2 automation moved this from in review to Done Apr 20, 2019

A-312 mentioned this pull request Oct 16, 2019

generate-fixture previent si zmd est eteint (fix #5300) #5472

Merged

A-312 deleted the addjdk11withtravis branch April 12, 2020 08:12

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Travis utilise install_zds.sh #5299

Travis utilise install_zds.sh #5299

A-312 commented Mar 10, 2019 •

edited

A-312 commented Mar 10, 2019 •

edited

coveralls commented Mar 10, 2019 •

edited

A-312 commented Mar 10, 2019

A-312 commented Mar 11, 2019

artragis commented Mar 11, 2019

A-312 commented Mar 11, 2019 •

edited

artragis commented Mar 11, 2019

A-312 commented Mar 11, 2019

artragis commented Mar 11, 2019

A-312 commented Mar 11, 2019 •

edited

artragis commented Mar 13, 2019

A-312 commented Mar 14, 2019

artragis commented Mar 17, 2019

A-312 commented Mar 17, 2019

artragis commented Mar 18, 2019

A-312 commented Mar 22, 2019

artragis commented Apr 1, 2019

A-312 commented Apr 1, 2019

A-312 commented Apr 1, 2019 •

edited

A-312 commented Apr 1, 2019

A-312 commented Apr 15, 2019 •

edited

artragis commented Apr 15, 2019

A-312 commented Apr 15, 2019

A-312 commented Apr 19, 2019

A-312 commented Apr 19, 2019 •

edited

artragis commented Apr 20, 2019

A-312 commented Apr 20, 2019

A-312 commented Apr 20, 2019

Travis utilise install_zds.sh #5299

Travis utilise install_zds.sh #5299

Conversation

A-312 commented Mar 10, 2019 • edited

Prêt à Q/A

A-312 commented Mar 10, 2019 • edited

todo :

coveralls commented Mar 10, 2019 • edited

A-312 commented Mar 10, 2019

A-312 commented Mar 11, 2019

artragis commented Mar 11, 2019

A-312 commented Mar 11, 2019 • edited

artragis commented Mar 11, 2019

A-312 commented Mar 11, 2019

artragis commented Mar 11, 2019

A-312 commented Mar 11, 2019 • edited

Q/A :

artragis commented Mar 13, 2019

A-312 commented Mar 14, 2019

artragis commented Mar 17, 2019

A-312 commented Mar 17, 2019

artragis commented Mar 18, 2019

A-312 commented Mar 22, 2019

artragis commented Apr 1, 2019

A-312 commented Apr 1, 2019

A-312 commented Apr 1, 2019 • edited

A-312 commented Apr 1, 2019

A-312 commented Apr 15, 2019 • edited

artragis commented Apr 15, 2019

A-312 commented Apr 15, 2019

A-312 commented Apr 19, 2019

A-312 commented Apr 19, 2019 • edited

artragis commented Apr 20, 2019

A-312 commented Apr 20, 2019

A-312 commented Apr 20, 2019

A-312 commented Mar 10, 2019 •

edited

A-312 commented Mar 10, 2019 •

edited

coveralls commented Mar 10, 2019 •

edited

A-312 commented Mar 11, 2019 •

edited

A-312 commented Mar 11, 2019 •

edited

A-312 commented Apr 1, 2019 •

edited

A-312 commented Apr 15, 2019 •

edited

A-312 commented Apr 19, 2019 •

edited