Project

General

Profile

Actions

Bug #3553

closed

Statistiques bloqués

Added by Emmanuel GRANGE over 9 years ago. Updated almost 9 years ago.

Status:
Closed
Priority:
High
Category:
Statistiques
Start date:
07/18/2012
Due date:
% Done:

100%

Estimated time:
Navigateur:
Tous
Votre version de Silverpeas:
5.9
Système d'exploitation:
Linux
Votre base de données:
Toutes
Livraison en TEST:
Livraison en PROD:

Description

Bonjour,

Les statistiques du portail ne sont plus à jour.
Tous les matins, de 1:00 jusqu'à 2:00 du matin, on a des erreurs du style :

18/07/12-01:00:00,443 - ERROR : The job 'SilverStatisticsSize' was not successfull | MODULE : silverstatistics.SilverStatisticsManager.handleSchedulerEvent |
!!! Message The job 'SilverStatisticsSize' was not successfull NOT INITIALIZED !!!
...
18/07/12-01:30:38,714 - ERROR : silverstatistics.EX_SUPPLY_VOLUME_COMPONENT_FAILED | MODULE : silverstatistics.SilverStatisticsVolumeAlimentation.getCollectio
nUserIdCountVolume() | !!! Message silverstatistics.EX_SUPPLY_VOLUME_COMPONENT_FAILED NOT INITIALIZED !!! (No statistic implementation class for component 'AP
I')
...

Files

annuites.xml (1.71 KB) annuites.xml Emmanuel Hugonnet, 08/28/2012 02:17 PM
demandeConges.xml (1.75 KB) demandeConges.xml Emmanuel GRANGE, 09/03/2012 01:56 PM
API.xml (3.2 KB) API.xml Emmanuel GRANGE, 09/03/2012 01:56 PM
traces.zip (3.86 KB) traces.zip Emmanuel GRANGE, 09/05/2012 03:22 PM
traces.20121112.zip (2.85 MB) traces.20121112.zip Traces statistiques Emmanuel GRANGE, 11/13/2012 11:07 AM
server.log.2012-11-12 (8.75 KB) server.log.2012-11-12 Traces JBOSS Emmanuel GRANGE, 11/13/2012 11:07 AM
stat_evolution_taille_fichiers_joints-20121119.jpg (48.9 KB) stat_evolution_taille_fichiers_joints-20121119.jpg Emmanuel GRANGE, 11/19/2012 10:12 AM
SilverStatistics.properties (4.1 KB) SilverStatistics.properties Emmanuel GRANGE, 11/19/2012 10:12 AM
Actions #1

Updated by Emmanuel Hugonnet over 9 years ago

Auriez-vous un workflow API ?
Avez-vous déclaré alors :
API=com.silverpeas.processManager.ProcessManagerStatistics dans le fichier $SILVERPEAS_HOME/properties/com/stratelia/silverpeas/silverstatistics/SilverStatistics.properties

Actions #2

Updated by Emmanuel GRANGE over 9 years ago

Je serais tenté de dire "non", car je ne vois pas de quoi il s'agit.

Actions #3

Updated by Emmanuel Hugonnet over 9 years ago

  • Status changed from New to Feedback

Chaque 'composant' de silverpeas doit déclarer la classe qui sera utilisée pour enregistrer ses statistiques.Cela est fait dans le fichier indiqué.
Dans le cadre des workflows, il faut ajouter l'entrée 'manuellement' par le biais de SilverpeasSettings.
Pouvez-vous effectuer cette opération manuellement et redémarrer le serveur avant cette nuit pour voir si cela corrige votre souci ?
Si c'est le cas je reviendrai vers vous avec le correctif de configuration à apporter.

Actions #4

Updated by Emmanuel GRANGE over 9 years ago

Nous avons testé, il y a quelques temps de ça, des workflows, mais nous n'avons pu donner suite principalement par manque de temps.

Donc , il y a effectivement quelques composants qui ont été instanciés, il y a longtemps, mais pour l'instant ils ne sont pas utilisé. Est-il possible de désactiver les statistiques de ces composants tout simplement, en attendant, que nous nous replongions dans le sujet ?

Actions #5

Updated by Emmanuel Hugonnet over 9 years ago

J'ai bien peur que non car il n'y a pas de notion d'actif pour les statistiques : tous les composants sont analysés pour produire les statistiques.
Pour ce que vous souhaitez il faudrait une 'liste noire' d'instances de composants à ignorer mais cela n'est pas à l’étude pour l'instant.

Actions #6

Updated by Emmanuel GRANGE over 9 years ago

Certains composants n'ont pas de définitions dans $SILVERPEAS_HOME/properties/com/stratelia/silverpeas/silverstatistics/SilverStatistics.properties :

annuites
API
formsOnline
indicateurs
silverCrawler
wiki

Est-ce normal ?
De plus, Comment faire pour supprimer les applications 'annuites', 'API' et 'indicateurs' ?
Je n'accède plus à leurs pages de propriétés, car elles n'existe plus, donc je ne peux plus les supprimer, et j'obtiens une erreur Etat HTTP 500 !

Actions #7

Updated by Emmanuel GRANGE over 9 years ago

Une solution pour supprimer ces composants ?

Actions #8

Updated by Emmanuel Hugonnet over 9 years ago

Soit remettre les descripteurs XML afin de pouvoir les supprimer via l'interface.
Soit supprimer directement en base en respectant les contraintes .

Actions #9

Updated by Emmanuel GRANGE over 9 years ago

Les descripteurs XML date de la v4.
Y-a-t'il un risque de les mettre sur une v5 ?

Faut-il d'autres fichiers ?

Actions #10

Updated by Emmanuel GRANGE over 9 years ago

J'ai copié les descripteurs xml des composants manquants dans le dossier xmlcomponenets dans notre environnement de test.
Mais, après l'avoir démarré, je n'arrive toujours pas à accéder aux pages de paramétrage de ces composants (Etat HTTP 500).

Les descripteurs ont été déposés sur l'extranet : https://extranet.silverpeas.com/silverpeas/Publication/7305

Actions #11

Updated by Emmanuel Hugonnet over 9 years ago

Effectivement depuis Silverpeas V5 il faut respecter le schema qui a été défini :
<WAComponent xmlns="http://silverpeas.org/xml/ns/component" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://silverpeas.org/xml/ns/component http://www.silverpeas.org/xsd/component.xsd">

Actions #12

Updated by Emmanuel GRANGE over 9 years ago

Il faut mettre à jour chaque tag de chaque fichier ou bien seulement l'entête ?

Actions #13

Updated by Emmanuel Hugonnet over 9 years ago

Non il faut réecrire le XML pour qu'il corresponde au schema.
Ce qui donne par exemple pour annuité :

Actions #14

Updated by Emmanuel GRANGE over 9 years ago

Bonjour,

Lorsque j'essaie de convertir les fichiers xml exactement au bon format, ça ne marche pas.
Cependant, si j'omets les parties des paramétrages (<paramters>)de ces applications, j'accède enfin aux pages de propriétés.
Mais cela ne risque t'il pas de créer un problème de cohérence entre la base de données et les données du portail ?

Actions #15

Updated by Emmanuel GRANGE over 9 years ago

Ci-joint, les 2 fichiers qui me posent problème

Actions #16

Updated by David Lesimple over 9 years ago

Bonjour,

non, à priori, l'absence des paramètres n'est pas dommageable, l'essentiel est de pouvoir accéder à la page d'accueil de l'application pout pouvoir la supprimer de l'espace.
Note: ne pas oublier de la vider de la corbeille d'espaces également.

Actions #17

Updated by Emmanuel GRANGE about 9 years ago

Bonjour,

J'ai installé les nouveau descriptif xml, et j'ai ainsi pu supprimer les instances des applications posant problème.
Cependant, ce matin (05/09/2012) à 1:00, après mise à jour des statistiques, j'ai toujours des erreurs dans le traces.txt (cf fichier joint).

L'évolution de la taille des fichiers joint est toujours bloquée en mai 2011

Actions #18

Updated by Emmanuel GRANGE about 9 years ago

Pas d'idées ?

Actions #19

Updated by Emmanuel Hugonnet about 9 years ago

Non je ne vois rien pouvant expliquer cela.
J'hésite à vous faire passer en mode debug pour avoir éventuellement plus de traces (et nous fournir aussi les traces de Jboss avec) car cela risque de produire des fichiers volumineux.

Actions #20

Updated by Emmanuel GRANGE about 9 years ago

J'ai laissé tourné notre portail de test pendant plus d'une semaine, après avoir supprimé toutes les instances des applications obsolètes.
Les traces semblent bien montrer une mise à jour des statistiques.
Mais l'historique de la taille des fichiers joints n'a toujours pas évolué (dernière date Mai 2011 ~39Go),
Et la taille totale des pièces jointes affiche ~60Go, bien que la partition data affiche 82Go (workspaces=65Go)

Ci joint, les traces des statistiques effectuées en mode debug

scheduledGetStatSizeTimeStamp=05 15 * * *
scheduledGetStatVolumeTimeStamp=35 15 * * *
scheduledCumulStatTimeStamp=0 16 * * *

Actions #21

Updated by Nicolas Eysseric about 9 years ago

Merci de nous fournir la capture d'écran du graphe de l'évolution de la taille des fichiers sur le serveur.
Pouvez-nous fournir le contenu de la table sb_stat_sizedir ainsi que le fichier SILVERPEAS_HOME/properties/com/stratelia/silverpeas/silverstatistics/SilverStatistics.properties ?

Après différentes recherches, il apparait que nous avons exactement le même problème sur notre extranet !
Le cumul est nul depuis le mois de Juin 2010...
David, peux-tu me fournir le contenu de la table sb_stat_sizedir de l'extranet ?

J'en profite pour apporter quelques précisions sur les volumes.
Le nombre de fichiers joints et la taille des fichiers joints sont basés sur les fichiers joints aux applications (interrogation de la base de données exclusivement).
L'évolution de la taille des fichiers joints a un comportement différent. Il s'agit là d'un calcul basé sur l'espace disque occupé par toutes les données (répertoire SILVERPEAS_DATA_HOME/data). Il est donc normal qu'une différence existe entre les deux derniers indicateurs.

Actions #22

Updated by David Lesimple about 9 years ago

Sur l'extranet, la table sb_stat_sizedir est vide...

Actions #23

Updated by Emmanuel GRANGE about 9 years ago

Pareil, la table sb_stat_sizedir est vide.
Les statistiques s'arrêtent en mai 2011 (graphique et fichier de config ci-joint)

Actions #24

Updated by Nicolas Eysseric almost 9 years ago

Pouvez-vous nous fournir le contenu de la table sb_stat_sizedircumul ?
De plus, pouvez-vous mettre le module Silverpeas.Bus.SilverStatistics en DEBUG et nous fournir les traces du lendemain ?

Merci d'avance...

Actions #25

Updated by Nicolas Eysseric almost 9 years ago

  • Status changed from Feedback to In progress...
  • Assignee set to Nicolas Eysseric
  • % Done changed from 0 to 50
Deux problèmes ont été détectés :
  • les crons scheduledGetStatSizeTimeStamp et scheduledCumulStatTimeStamp ne sont pas corrects. Ils sont exécutés toutes les minutes respectivement entre 1h et 1h59 et entre 2h et 2h59. Cela génère des statistiques fausses sur les données présentes sur le serveur (beaucoup trop élevées).
  • le calcul de la taille de SILVERPEAS_DATA_HOME génère de manière aléatoire une erreur. Elle est "trappée" et ne peut donc pas être identifiée.
Actions #26

Updated by Nicolas Eysseric almost 9 years ago

  • Status changed from In progress... to Closed
  • Target version set to Version 5.11.1
  • % Done changed from 50 to 100
  • Navigateur changed from Firefox 10 to Tous
  • Votre base de données changed from PostgreSQL to Toutes

Correction validée sur notre extranet.

Actions

Also available in: Atom PDF