Project

General

Profile

Actions

Support #2389

closed

De plus en plus de "Too many open files"

Added by David Lesimple over 10 years ago. Updated almost 10 years ago.

Status:
Closed
Priority:
High
Assignee:
-
Category:
Moteur de recherche
Target version:
-
Start date:
09/07/2011
Due date:
% Done:

100%

Estimated time:
Spent time:
Navigateur:
Tous
Votre version de Silverpeas:
5.6
Système d'exploitation:
Livraison en TEST:
Livraison en PROD:

Description

Depuis les dernières versions 5.5 ou 5.6, de plus en plus de plateformes Silverpeas plantent par un
"Too many open files" ce qui rend Silverpeas inacessible.
Augmenter la valeur de ce paramètre du noyau linux permet de repousser ce problèmes, mais il y a surement un bug la derrière.

Dernier exemple en date (plateforme cloud) :

06/09/11-10:12:06,733 - ERROR : util.MSG_EXCEPTION_NOT_EMBEDED | MODULE : util.HomePageUtil.traceException() | Exception non encapsulée dans une Silverpeas...Exception (EXCEPTION : java.lang.NullPointerException)
06/09/11-10:12:49,505 - ERROR : util.EX_NO_CHEMIN_REPOS | MODULE : util.FileFolderManager.getAllFile | Le chemin spécifié n'est pas un répertoire (/opt/silverpeas/data/workspaces/Space24/look/)
06/09/11-10:12:49,506 - ERROR : util.EX_NO_CHEMIN_REPOS | MODULE : util.FileFolderManager.getAllFile | Le chemin spécifié n'est pas un répertoire (/opt/silverpeas/data/workspaces/Space24/look/)
06/09/11-10:13:17,613 - FATAL : WA24,N/A,publisher,1,3
06/09/11-10:13:17,659 - ERROR : indexEngine.MSG_INDEX_OPTIMIZATION_FAILED | MODULE : indexEngine.IndexManager.optimize() | Echec de l'optimisation de l'index (Can't optimize index /opt/silverpeas/data/index/Spaces/index)
java.io.FileNotFoundException: /opt/silverpeas/data/index/Spaces/index/_jv.prx (Too many open files)
at java.io.RandomAccessFile.open(Native Method)
at java.io.RandomAccessFile.<init>(RandomAccessFile.java:212)
at org.apache.lucene.store.FSDirectory$FSIndexOutput.<init>(FSDirectory.java:639)
at org.apache.lucene.store.FSDirectory.createOutput(FSDirectory.java:442)
at org.apache.lucene.index.FreqProxTermsWriter.flush(FreqProxTermsWriter.java:104)
at org.apache.lucene.index.TermsHash.flush(TermsHash.java:145)
at org.apache.lucene.index.DocInverter.flush(DocInverter.java:74)
at org.apache.lucene.index.DocFieldConsumers.flush(DocFieldConsumers.java:75)
at org.apache.lucene.index.DocFieldProcessor.flush(DocFieldProcessor.java:60)
at org.apache.lucene.index.DocumentsWriter.flush(DocumentsWriter.java:574)
at org.apache.lucene.index.IndexWriter.doFlush(IndexWriter.java:3540)
at org.apache.lucene.index.IndexWriter.flush(IndexWriter.java:3450)
at org.apache.lucene.index.IndexWriter.optimize(IndexWriter.java:2235)
at org.apache.lucene.index.IndexWriter.optimize(IndexWriter.java:2218)
at org.apache.lucene.index.IndexWriter.optimize(IndexWriter.java:2198)
at com.stratelia.webactiv.util.indexEngine.model.IndexManager.optimize(IndexManager.java:143)
at com.stratelia.webactiv.util.indexEngine.model.IndexerThread.run(IndexerThread.java:117)

Actions #1

Updated by Emmanuel Hugonnet over 10 years ago

Il est possible de configurer Lucene pour reduire le nombre de fichies d'indexes mais cela rend le moteur de recherche moins performant.
A voir si l'impact est acceptable
http://lucene.apache.org/java/2_4_0/api/org/apache/lucene/index/IndexWriter.html#setUseCompoundFile%28boolean%29

Actions #2

Updated by Nicolas Eysseric over 10 years ago

  • Tracker changed from Bug to Support
  • Subject changed from De plus en plus de Too many open files to De plus en plus de "Too many open files"
  • Status changed from New to Feedback

Il y a une explication rationnelle à cette erreur.
Depuis la version 5.5.2, les index restent ouverts pour optimiser les temps de recherche.
Auparavant ces index étaient ouverts à chaque recherche et refermés juste derrière.
Comme l'ouverture est couteuse, ils restent désormais ouverts. Un index est fermé uniquement lorsqu'une mise à jour de celui-ci est nécessaire.
Il suffit qu'il y ai beaucoup de composants (donc bcp d'index) et que l'utilisateur lance une recherche globale pour que tous les index soient ouverts (et restent ouverts).
Si le nombre de composants dépassent le nombre limite de fichiers (1024 par défaut) pouvant être ouverts simultanément, l'erreur se produira.
Il faut donc penser à paramétrer cette valeur en conséquence !

Actions #3

Updated by David Lesimple over 10 years ago

  • Category set to Moteur de recherche
  • Status changed from Feedback to Closed
  • % Done changed from 0 to 100

Pour augmenter au noiveau du noyau Linux le nombre de fichiers ouverts simultanément:
http://extranet.silverpeas.com/silverpeas/Question/301

Actions #4

Updated by Elisabeth MARTINS MARCOS almost 10 years ago

Ce serait plus simple si le lien renvoyait directement sur la bonne question... car on a un peu de mal à la retrouver dans la liste... et si le contenu de la FAQ était directement inscrit dans le guide d'administration, ce serait également mieux et plus visible.

Merci pour la réponse. Nous allons faire le nécessaire.

Actions #5

Updated by Nicolas Eysseric almost 10 years ago

Normalement, le permalien d'une question permet d'y accéder directement.
Il y a actuellement une anomalie sur ce point (#2818). Anomalie corrigée et qui sera disponible dans la prochaine version du produit.

Pour ce qui est d'intégrer la FAQ dans le guide d'administration, je suis sûr que David en prendra bonne note.

Actions #6

Updated by Emmanuel Hugonnet almost 10 years ago

Sinon mettre à jour la FAQ de silverpeas.org

Actions

Also available in: Atom PDF