Silverpeas » Silverpeas Core

Emmanuel GRANGE a écrit :

Nous utilisons déjà ce paramétrage.

Vous utilisez déja ce paramétrage, mais aviez-vous déja refait une indexation complète avant celle-ci ?

Une indexation complète du portail a été relancé ce week-end.
Mais elle ne semble pas avoir aboutie.

Elle a été lancé Samedi 17/09 à 9:57, et il n'y a plus de trace dès 11:00 !

merci de joindre les logs (traces.txt)

On va déja essayer de le lancer sur le serveur de test pour voir si l'erreur survient.

tu le fais, ou c'est moi ?

Emmanuel GRANGE a écrit :

tu le fais, ou c'est moi ?

je m'en occupe.
Autre chose, as-tu supprimer le répertoire index avant de lancer l'indexation ?

Non, je voulais juste ajouter les index manquant !
Et je ne voulais pas arrêter le portail.

Mais ça devrait fonctionner aussi, non ?

oui. Mais tu n'as pas répondu à ma question: Vous utilisez déja ce paramétrage, mais aviez-vous déja refait une indexation complète avant celle-ci ?

Pardon, non, pas complète.

Pour info, le portail de test a planté avec la même erreur.

oui mais je vais la relancer pour essayer d'avoir encore plus d'infos dans le log.

J'ai supprimé les derniers éléments affichés dans le log et qui devaient etre indexées et relancer l'indexation mais le problème persiste.
Ce n'est donc pas un problème localisé de données.

Je continue à investiguer.

En jouant sur le paramétrage de l'indexeur, l'indexation a tourné 14 heures mais s'est également terminé en erreur.
Cependant, on ne devait pas etre trop éloigné de la fin: Taille index: 788 Mo - 14111 dossiers.

Je vais refaire un test. Merci de ne pas intervenir sur le serveur.

Bien. Quelque soit le paramétrage, on finit par une erreur du meme type (erreur dans un thread) dont la cause exacte est inconnue :

2016-09-20 16:44:58,413 ERROR [STDERR] (Thread-59) Exception in thread "Thread-59" java.lang.IllegalArgumentException
2016-09-20 16:44:58,413 ERROR [STDERR] (Thread-59) at java.util.concurrent.Semaphore.release(Semaphore.java:583)
2016-09-20 16:44:58,413 ERROR [STDERR] (Thread-59) at org.silverpeas.search.indexEngine.model.IndexerThread.run(IndexerThread.java:144)

Nous allons maintenant essayer de la reproduire en local avec votre base de données, puisque les pièces jointes ne sont pas indexées.

Peut-on arrêter le portail de test ?

D'ici 15' oui.

Trop tard, il ne répondait pas, et je l'ai donc redémarré.

Emmanuel GRANGE a écrit :

Cool, bonne nouvelle.

L'indexation a-t'elle été faite avec ou sans avoir supprimé le dossier index ?

J'avais supprimé au préalable le répertoire index.

Vu le temps que prends l'indexation complète, je l'ai lancé ce week-end, avec beaucoup d'espoir.

Mais il semble qu'elle est tournée à peu près 2h30, et puis s'est à nouveau arrêtée.
Pour information, je n'ai pas supprimé le dossier index avant de lancer l'indexation.

Bonjour,
Est-il possible de nous transmettre les logs correspondantes ?

Il y a eu un problème encore non identifié lors de l'indexation de l'espace WA8614, peu-ton essayer de le re-indexer ?

Juste cet espace ? (pas le portail complet)
Je pense que oui. A ma connaissance, il n'est pas très gros.

Le problème, est qu'il s'agit d'un sous-espace d'un espace lui-même supprimé. Comment faire pour n'indexer que celui-ci ?

Bonjour,

Serait-il possible d'avoir une restauration des données de prod sur la VM de test pour que nous puissions ajouter plus de traces et voir ce qui bloque ?

Oui, c'est possible.
Nous allons voir s'il est plus rapide de faire une restauration ou une copie de la VM à la place du test existant.

Par contre, si la restauration est trop lente, nous ne lanceront la copie de la VM que ce soir, pour limiter l'impact sur la Prod.

Cela vous convient-il ?

Oui merci.

Le portail de Test est prêt.
Finalement, nous avons fait un clone intégrale du portail de Prod : au moins 3x plus rapide, et exacte copie de la Prod (Données et BDD)

Merci, nous avons apporté des améliorations au niveau du parcours de l'arborescence Espaces/Applications/etc.. de l'indexation qui devraient fiabiliser le process.
Nous allons le valider sur le serveur de test.

Ok, l'indexation est terminée (24 heures de traitement) sur le serveur de test, avec les données fraichement restaurées de prod.

Début le 5 octobre 2016 à 14h (tous les espaces)
Fin le 6 Octobre à 13h59
Taille du répertoire index: 1,3 Go

Précision: l'indexation de l'espace WA8614 s'est bien passée.

Nous allons incorporez ces améliorations dans la 5.15.4-SNAPSHOT.
Souhaitez-vous l'appliquer sur votre environnement de Prod avant de la sortir en version définitive (si cela peut etre fait ce week-end) ?

Oui, ça serait bien.

Est-ce compliqué à installer ?

Il suffira de modifier le pom.xml et de mettre 5.15.4-SNAPSHOT puis de faire les opérations habituelles de mise à jour.

J'en profite pour signaler qu'avant de lancer une indexation complète, il est souhaitable de :

- Vider la corbeille des espaces et des applications, cela allégera d'autant l'indexation
- Supprimer le contenu du répertoire index (faire un backup de l'actuel, ce qui permettra de comparer leur taille).
- Activer le niveau INFO du module Bus.indexEngine

La version 5.15.4-SNAPSHOT est disponible dans Nexus.

Est-ce que cette version contient les patchs manuels des tickets #8162 (#8157) et celui livré ci-dessus ?

D'ailleurs, ne contient-elle pas toutes les corrections de la 5.15.4 ?

Je reste toujours un peu hésitant à installer une version non finale

Pas de souci, tu peux attendre la sortie officielle de la 5.15.4 !

Elle est prévue pour quand ?

La sortie officielle de la 5.15.4 a été retardée pour pouvoir intégrer la dernière correction relative à ce ticket. On en profite pour intégrer aussi quelques corrections de nouveaux bogues mineurs (comme la #8243).
Si par d'imprévue impromptue, elle est prévue la semaine prochaine.

On devrait pouvoir patienter d'ici là. Merci