Installation de l’environnement de compilation de Geneweb pour Windows

[a2line]

J’ouvre un fil de discussion plus adapté que les issues ici pour essayer de résoudre les divers problèmes d’installation de l’environnement de compilation de GeneWeb pour les utilisateurs sous Windows. Les dépendances ont évolué énormément et certaines étapes de l’ancien petit script batch d’installation opam.bat semblent blocantes aujourd'hui. Il n’avait par ailleurs été éprouvé que pour Windows 7 (x86 et x64) de mon côté, et je suis conscient qu’il a trois trains de retard. Ceci dit, il ressemble toujours énormément à ce qui est fait actuellement sur les CI (AppVeyor il y a peu et celui Github aujourd'hui) que ce soit pour Linux/Mac ou Windows, donc il y a surement peu à adapter.

@dominique95880 @Jocelyn596979 si vous avez le temps et l’envier d’alimenter ce fil, j’y répondrais avec plaisir pour vous aider à y arriver.

[Jocelyn596979]

Je ne sais pas si je serais d'une grand aide mais si je peux aider pourquoi pas. Je peux essayer de le réinstaller sur mon Windows 10 x64 et renvoyer les messages d'erreur qui s'affichent. Je vais aussi essayer sur une machine virtuelle Windows 10 fraichement créée pour observer s'il y a des différences.

[Jocelyn596979]

Alors j'ai réessayé sur mon système Windows 10 famille x64 (21H2).

Le .bat comme le dit Dominique, les lignes 4 à 7 peuvent bloquer le lancement sur des Windows récent. J'ai voulu mettre une espace entre le guillemet et le chiffre 4 (" 4.") ou (" 5."), mais sans succès. J'ai trouvé l'option /b pour findstr ("Correspond au modèle de texte s’il se trouve au début d’une ligne.", Microsoft)

IF %ERRORLEVEL% == 0 SET NewOSWith_UAC=NO
VER | FINDSTR /ILB "4." > NUL
IF %ERRORLEVEL% == 0 SET NewOSWith_UAC=NO

Le .bat se lance mais je ne sais pas si au final cela empêche nt4 et nt5 de le lancer.

J'ai un Warning qui s'affiche

[WARNING] ocamlfind.1.9.5: download of http://download.camlcity.org/download/findlib-1.9.5.tar.gz failed (http://download.camlcity.org/download/findlib-1.9.5.tar.gz (Curl failed:
          "C:\\cygwin64\\bin\\curl.exe --write-out %{http_code}\\n --retry 3 --retry-delay 2 --user-agent opam/2.0.8 -L -o
          C:/cygwin64/home/Jocelyn/.opam/4.14.0+mingw64c/.opam-switch/sources/ocamlfind.1.9.5/findlib-1.9.5.tar.gz.part http://download.camlcity.org/download/findlib-1.9.5.tar.gz" exited with code
          6)), trying mirror

Ensuite j'ai une première erreur

�[K�[31m[ERROR]�[0m The compilation of conf-perl-ipc-system-simple failed at "C:\\cygwin64\\bin\\perl.exe -MIPC::System::Simple -e 1".]

Ensuite, lors du processus d'installation, j'ai plusieurs erreurs en rapport avec "conf-perl-ipc-system-simple"
Et deux Error-report qui me disent ça :

<><> Error report <><><><><><><><><><><><><><><><><><><><><><><><><><><><><><><>
┌─ The following actions failed
│ λ build conf-perl-ipc-system-simple 3
└─

<><> Error report <><><><><><><><><><><><><><><><><><><><><><><><><><><><><><><>
┌─ The following actions failed
│ λ build conf-perl-ipc-system-simple 3
└─
╶─ No changes have been performed

The packages you requested declare the following system dependencies. Please make sure they are installed before retrying:
    system:perl-IPC-System-Simple

Enfin, l'installation me demande si je veut compiler Geneweb master dans le répertoire Home de Cygwin, ce à quoi je réponds Oui.

Durant cette phase, je suis informé que la bibliothèque Camlp5 n'est pas trouvée

�[0;1mFile "bin/ged2gwb/dune", line 6, characters 13-19:�[0m
6 |   (libraries camlp5 unix str geneweb.gwdb-legacy geneweb_sosa_array geneweb)
                 ^^^^^^
�[1;31mError�[0m: Library "camlp5" not found.

J'ai cette liste que j'image être la liste des bibliothèques installées :

┌─ The following changes have been performed (the rest was aborted)
│ ∗ install calendars           1.0.0
│ ∗ install camlp-streams       5.0.1
│ ∗ install conf-perl           2
│ ∗ install cppo                1.6.9
│ ∗ install dune                3.5.0
│ ∗ install jingoo              1.4.4
│ ∗ install markup              1.0.3
│ ∗ install menhir              20220210
│ ∗ install menhirLib           20220210
│ ∗ install menhirSdk           20220210
│ ∗ install ocaml-compiler-libs v0.12.4
│ ∗ install ocamlbuild          0.14.2
│ ∗ install ocamlfind           1.9.5
│ ∗ install ppx_blob            0.7.2
│ ∗ install ppx_derivers        1.2.1
│ ∗ install ppx_deriving        5.2.1
│ ∗ install ppx_import          1.10.0
│ ∗ install ppxlib              0.28.0
│ ∗ install re                  1.10.4
│ ∗ install result              1.5
│ ∗ install seq                 base
│ ∗ install sexplib0            v0.15.1
│ ∗ install stdlib-shims        0.3.0
│ ∗ install syslog              2.0.2
│ ∗ install topkg               1.0.6
│ ∗ install uchar               0.0.2
│ ∗ install unidecode           0.2.0
│ ∗ install uucp                15.0.0
│ ∗ install uunf                15.0.0
│ ∗ install uutf                1.0.3
└─

Je n'ai pas pu tout copier vu que cmd s'est fermé rapidement
En espérant que cela aide et s'il faut je recommence
Cdlt, Jocelyn

[a2line]

Merci pour ce rapport détaillé. Pour les explications que je peux donner à la volée, la première partie du script, qui se vautre et que Dominique a déjà rapporté, servait à détecter l'architecture machine x86 ou x64. Si ça ne fonctionne pas et qu'on ne trouve pas d’alternative, on pourra éventuellement faire deux scripts. À savoir qu'on en a discuté avec les nouveaux dev qui s'occupent de Geneweb à Geneanet ça reste à voir si le besoin de compiler en 64 bits est réel ou non, et ce qu'on fera pour la prochaine release à ce sujet.

Camlp5 manquant c'est plus inquiétant, car il est encore nécessaire pour ged2gwb, on voudrait dans l'idéal s’en passer totalement, ça viendra surement. Il est peut-être manquant car le téléchargement d'ocamlfind a échoué plus haut (edit : c’est seulement un warning à priori il est bien installé derrière). Je vais enquêter ce soir pourquoi. On voit bien qu'il n'est pas dans la liste ensuite.

Cette partie system:perl-IPC-System-Simple là doit manquer totalement au script, j’avais eu du mal à piger comment l'installer en local. Ça se fait avec CPAN (gestionnaire de paquet Perl si je ne dis pas de bêtise) puis c'est un cpan install quelque chose… Ça n'est pas sur le CI Github et je ne comprends pas bien pourquoi on doit le faire, mais il faudra voir si on sait le scripter. J’ai envie de dire qu’on est pas trop loin d'être bon ! Merci beaucoup pour ces essais !

[a2line]

Que dit opam install campl5 ?

[hgouraud]

Camlp5 et non campl5!!

[Jocelyn596979]

Dans le terminal cygwin :

$ opam install campl5
[ERROR] No package named campl5 found.

Sinon, Je me demande si il y a une raison pertinente pour que dans l'installation de cygwin version 64bits, il n'y a pas l'opion "-P perl-IPC-System-Simple" alors qu'elle est présente dans l'installation 32bits

:64BIT
IF NOT EXIST setup-x86_64.exe GOTO PS64
echo Installing Cygwin/Opam/Camlp5/Dune for a 64 bit operating system into %CYG_ROOT%
setup-x86_64.exe -qnNdO -R %CYG_ROOT% -s http://cygwin.mirror.constant.com -l %CYG_ROOT%/var/cache/setup -P rsync -P patch -P diffutils -P curl -P make -P unzip -P git -P m4 -P perl -P mingw64-x86_64-gcc-core -P mingw64-x86_64-gmp
...

:32BIT
IF NOT EXIST setup-x86.exe GOTO PS32
echo Installing Cygwin/Opam/ocamlfind/Camlp5 for a 32 bit operating system into %CYG_ROOT%
setup-x86.exe -qnNdO -R %CYG_ROOT% -s http://cygwin.mirror.constant.com -l %CYG_ROOT%/var/cache/setup -P rsync -P patch -P diffutils -P curl -P make -P unzip -P git -P m4 -P perl -P perl-IPC-System-Simple -P mingw64-i686-gcc-core -P mingw64-i686-gmp
...

[Jocelyn596979]

J'ai tenté de relancer l'installation en ajoutant au .bat "-P perl-IPC-System-Simple" à la liste des programmes à ajouter de la version 64bits et l'installation à eu l'air de se terminer normalement.

Redémarrage du système hôte ...

Terminal cygwin :

 $ opam install camlp5
[NOTE] Package camlp5 is already installed (current version is 8.00.03).

@hgouraud : je fais souvent l'inversion de lettres OCalm au lieu OCaml, mais là je me suis contenté d'un copier/coller

[Jocelyn596979]

J'ai tenté à nouveau sur ma VM Windows famille x64 (22H2) avec le .bat modifié et là aussi je n'ai plus eu d'erreur.

Terminal Cygwin :

$ opam install camlp5
[NOTE] Package camlp5 is already installed (current version is 8.00.03).

Dans le fichier .bat, le commentaire qui accompagne les premières lignes parle de tester afin d'ignorer les OS avant NT4

REM Quick test for Windows generation: UAC aware or not ; all OS before NT4 ignored for simplicity
SET NewOSWith_UAC=YES
VER | FINDSTR /ILB "5." > NUL
IF %ERRORLEVEL% == 0 SET NewOSWith_UAC=NO
VER | FINDSTR /ILB "4." > NUL
IF %ERRORLEVEL% == 0 SET NewOSWith_UAC=NO

J'y ai ajouté l'option "/B" à "FINDSTR" sans être sur que ce soit ce qu'il fallait faire.

et j'ai ajouté "-P perl-IPC-System-Simple" à liste des logiciels/paquets optionnels de "setup-x86_64.exe" pour les versions 64bits

:64BIT
IF NOT EXIST setup-x86_64.exe GOTO PS64
echo Installing Cygwin/Opam/Camlp5/Dune for a 64 bit operating system into %CYG_ROOT%
setup-x86_64.exe -qnNdO -R %CYG_ROOT% -s http://cygwin.mirror.constant.com -l %CYG_ROOT%/var/cache/setup -P rsync -P patch -P diffutils -P curl -P make -P unzip -P git -P m4 -P perl -P perl-IPC-System-Simple -P mingw64-x86_64-gcc-core -P mingw64-x86_64-gmp

J'ai pu profité de la chance du débutant, cela à fonctionné 😏

[a2line]

Oh, et bien bravo Jocelyn ! Pas convaincu par le /B pour chercher la chaîne en début de ligne car VER me répond ici Microsoft Windows [Version 6.1.7601] sous Windows 7 donc avec un /B ça ne trouve plus rien. Je laisse en l'état.

J’ai corrigé mon oubli en maintenant le script à l’aveugle, j’avais effectivement raté d’ajouter la dépendance pour x64…https://gist.github.com/a2line/f134c88c80eafcf0411b38e32a0a7128/revisions

On y voit aussi que je l'ai maintenu pas mal de fois sans ressayer chaque fois donc c'est assez rassurant que ça ne soit presque rien pour l’avoir fonctionnel. Tu peux maintenant cloner le master ou des branches de travail et profiter de GeneWeb à jour. Pour les explications le petit test à la fin lance gwd en mode CGI avec gwd.exe -cgi : la page template index.txt doit alors défiler en console qui se termine d’ailleurs sur… le pied de page avec les copyrights (!!) et ça voudra dire que l'exe est bien compilé et fonctionnel.

En CGI c'est le serveur HTTP (souvent Apache) qui gère l’interfaçage web.

@hgouraud en passant j'ai croisé index comme ça la semaine précédente, je sais pas comment on a perdu l'input, mais il faut penser à corriger aussi, on ne peut plus saisir un nom de base à la main.

[Jocelyn596979]

Bonjour

Effectivement l'option /b pour FINDSTR ne risque pas de fonctionner puisque après vérification sur sur Windows 10 cela ressemble à Windows 7 avec :

C:\Users\Jocelyn>VER

Microsoft Windows [version 10.0.19044.2604]

Alors que sur un Windows NT4 :

C:\>VER
Windows NT Version 4.0

Il reste les expressions régulières mais c'est encore un domaine que je ne maitrise pas. J'ai fait plusieurs essais mais sans succès puisque sur NT4, avec ou sans l'option /R à la place de /L pour FINDSTR, il me demande d'associer un programme pour getadmin.vbs, preuve, si j'ai bien compris, qu'il est passé à travers mes essais de regex.

Pour la compilation de Geneweb lors de l'installation sur Windows 10 via le .bat, elle échoue puisque le fichier index.txt ne défile pas.

Elle s’arrête lorsqu'elle ne trouve pas lang\lexicon.txt

[2023-03-07 21:10:47]: CRITICAL Sys_error("lang\\lexicon.txt: No such file or directory")
If you see copyright footer from gwd in last lines, GeneWeb should be working, launch it with gwd.bat!
GeneWeb is in /home/psili/geneweb/distribution/

Du coup je me suis dit que j'allais récupérer les lignes du batch pour les lancer de ma distrib Ubuntu via WSL2

~$ opam install -y calendars camlp5 cppo dune jingoo markup ppx_blob ppx_deriving ppx_import stdlib-shims syslog unidecode.0.2.0 uucp uutf uunf
...
~$ eval $(opam env)
~$ git clone https://github.com/geneweb/geneweb
~$ cd ~/geneweb && ocaml ./configure.ml --sosa-legacy --gwdb-legacy --release
~/geneweb$ cd ~/geneweb && make distrib && ./distribution/gw/gwd -cgi

J'ai remarqué dans le .bat que Camlp5 est installé 2 fois, ce n'est pas bien grave puisque la deuxième fois, le système nous dit qu'il est déjà installé mais cela m'a semblé superflu.

et malheureusement, j'ai le même message d'erreur, à savoir :

[2023-03-09 09:06:51]: CRITICAL Sys_error("lang/lexicon.txt: No such file or directory")

Je ne sais pas dans quel fichier je peux contrôler le chemin de ce fichier qui est bien présent dans "geneweb/distribution/gw/lang/lexicon.txt"
Cdlt, Jocelyn

[a2line]

Il reste les expressions régulières mais c'est encore un domaine que je ne maitrise pas. J'ai fait plusieurs essais mais sans succès puisque sur NT4, avec ou sans l'option /R à la place de /L pour FINDSTR, il me demande d'associer un programme pour getadmin.vbs, preuve, si j'ai bien compris, qu'il est passé à travers mes essais de regex.

Pour ces histoires d’UAV, tu lances bien le batch en administrateur ? Ou d’une console elle-même en administreur ? C’est écrit sur le wiki mais j’ai oublié d’en reparler depuis le début.

[Jocelyn596979]

En réalité, ce n'est pas plus mal car j'ai installé une NT4 en VM uniquement pour réussir à bloquer le lancement du .bat sur c'est vieux OS. Apparemment, d'après ce que j'ai pu comprendre, il faut l'installer sur windows 95 et NT4 mais encore une fois, ce n'est pas plus mal pour effectuer des tests

[a2line]

Sauf qu’on ne supportera plus ces OS là du tout, ne t’embête pas avec ça. L’accueil de Cygwin écrit d’ailleurs « Cygwin 3.4 is the last major version supporting Windows 7/ 8/server 2008 R2/server 2012 ». Windows 7 n’est plus supporté par Microsoft. Et Chromium ne donne plus de mise à jour pour Windows 7 depuis la build 109. Il y a des versions de Geneweb qui ont tourné pour ces OS si certains veulent s'y aventurer. Moi pas, j’ai déjà essayé de recompiler les anciennes versions quand j’ai refais l’historique de GeneWeb pour le wiki et faute de documentation c’est la mer à boire, heureusement qu’on a gardé des binaires déjà compilés… !

[a2line]

Les instructions pour Linux sont aussi sur le wiki, mais oui c'est à peu près ça, quelques lignes à comprendre et et puis roulez jeunesse. Je crois que tu as bien compris la démarche qu'on résumera à : on installe cygwin avec plusieurs dépendances, on installe Opam qui installe un “switch” Ocaml et les dépendances Ocaml requises. On clone le dépôt GeneWeb qu’on compile ensuite. L’avantage d’Opam est de permettre d’installer plusieurs versions d’Ocaml différentes sur la même machine. Auparavant on avait un seul environnement de compilation par machine et l’on sait ô combien certains « switches » (changement de version du compilateur) peuvent être périlleux vis-à-vis de l’ensemble des dépendances ou des architectures machines. C'est plus simple avec Opam de garder l’ancien environnement de dev fonctionnel en production pour faire des expérimentations sur les « suivants » (en général).

Il n’y a pas vraiment d’« installation » au make distrib on génère/copie des fichiers dans distribution/. Il y a peut-être un problème de droits, déjà rencontré moulte fois avec les fichiers créé, en général en déplaçant la distribution ailleurs sur la machine tout va mieux (récupère des « permissions Windows »). Jamais regardé comment améliorer ce point. Après ça n’est pas bien grave si mon petit « test » (à la con, -cgi) que j’avais mis ne fonctionne pas tant que le exe sont bien compilés. Tente de déplacer le répertoire distribution et lancer GeneWeb comme tu le fais avec la release. Le but du script est d'installer l’environnement de dev, la partie compiler Geneweb + ce test c'était pour parfaire.

[Phil353556]

Ok la discussion c'est windows, mais je lis toutes les notifications sur github
Je vous ai beaucoup dérangé sur raspberry (voir #1251 et #1254), aussi si vous avez besoin d'un testeur pour compiler sur un raspberry Pi 4 dites moi, je serais content d'apporter mon modeste "gravillon" à l'édifice.
Cordialement
Phil

[a2line]

Oui, merci, ça ne fait pas de mal de maintenir les pages du wiki à ce sujet : mettre à jour les commandes si besoin, valider que ça fonctionne à telle date pour telle architecture sur la page [Ocaml] générique à Linux et ici plus spécifiquement celle [raspbian] un peu plus complète quant au build GeneWeb derrière, permissions, CGI, config Apache, HTTPs et cie pour ceux qui veulent un serveur distant (ça peut être compliqué fonction de l’hôte). N'hésitez pas, comme ils disent sur Wikipédia !

[mdelambilly]

Bonjour,

Si ça peut intéressé quelqu'un, j'ai finalement installé un linux sur une clef USB et je l'utilise pour développer geneweb.
Ca marche très bien.

bonne soirée

[Phil353556]

Bonsoir,
Top,
Je partage un sujet / clé USB / linux ou autre OS (bon exclusivement linux me concernant) c'est le site ventoy (cf https://ventoy.net/en/index.html) , cela permet d'avoir un paquet d'OS différents sur une même clé et de choisir au démarrage.
cordialement

[mdelambilly]

J'ai plutôt utilisé le principe décrit ici
Je suis parti d'une install debian 12, puis j'ai installé ocaml, github-desktop
et enfin docker-desktop

Dans VSCode, installer le plugin ocaml platform, puis suivre les instructions de la page plugin pour ocaml-lsp-server qui permet d'avoir le code completion. Par contre le server plante souvent "The OCaml Platform VS Code extension server crashed 5 times in the last 3 minutes. The server will not be restarted. See the output for more information." je ne sais pas pourquoi