Récupérer la mémoire utilisée par une JVM sous Websphere 8.5.5 avec wsadmin

Scripting en jython

Si vous avez suivi mes dernières aventures, vous savez que je travaille énormément sur Websphere en ce moment et plus particulièrement sur la partie wsadmin de websphere, à savoir la partie scripting. Mes anciens articles sur websphere.

Coeur du script : la récupération de la valeur de la mémoire utilisée par notre JVM. Pensez à remplacer xxServer par le nom de votre JVM.

perfName = AdminControl.completeObjectName ('type=Perf,process=xxServer,*')
perfOName = AdminControl.makeObjectName (perfName)
sigs = ['javax.management.ObjectName', 'java.lang.Boolean']
jvmName = AdminControl.completeObjectName ('type=JVM,process=xxServer,*')
params = [AdminControl.makeObjectName (jvmName), java.lang.Boolean ('false')]
jvmStats=AdminControl.invoke_jmx (perfOName, 'getStatsObject', params, sigs)
UsedMemory=jvmStats.getStatistic( 'UsedMemory').getCount()
print UsedMemory

Comment appeler ce bout de script ? Il faut appeler le script wsadmin.sh de websphere qui lui, déroulera le script ci-dessus. Les paramètres de wsadmin sont détaillés dans cet article.

#!/bin/bash

"$WAS_ROOT/bin/wsadmin.sh" $ADMIN_OPT -lang jython -f `dirname $0`/usedMemory.py

Ensuite on peut faire une boucle pour afficher la valeur de la mémoire utilisée toutes les 5 secondes, avec en prime la date :

import sys
import time
import re

count=3
while count > 0 :
## MAIN
 perfName = AdminControl.completeObjectName ('type=Perf,process=xxServer,*')
 perfOName = AdminControl.makeObjectName (perfName)
 sigs = ['javax.management.ObjectName', 'java.lang.Boolean']
 jvmName = AdminControl.completeObjectName ('type=JVM,process=xxServer,*')
 params = [AdminControl.makeObjectName (jvmName), java.lang.Boolean ('false')]
 jvmStats=AdminControl.invoke_jmx (perfOName, 'getStatsObject', params, sigs)
 UsedMemory=jvmStats.getStatistic( 'UsedMemory').getCount()
 now = time.localtime(time.time())
 print time.strftime("%d/%m/%y %H:%M:%S", now),";",UsedMemory
 time.sleep(5)

Sources : 

Python : Date et parsing de texte

Programmation en python

Pour les besoins d’un script en python, j’ai besoin de petits bouts de code. En effet, suite à mon article sur websphere, j’ai besoin de parser des résultats et de les stocker dans un fichier texte. On va voir ensemble comment procéder.

Récupération de la date du jour :

import time
# Obtenir l'heure et la date locale
now = time.localtime(time.time())

print time.strftime("%y/%m/%d %H:%M", now)
date en python

ça affiche :

16/09/09 09:07

Ensuite, ce que je veux faire, c’est parser la ligne ci-dessous et récupérer uniquement la valeur de UsedMemory :

jvmRuntimeModule | HeapSize=524288;;;; FreeMemory=205940;;;; UsedMemory=318347;;;; UpTime=1356524;;;; ProcessCpuUsage=0;;;;

Je vous rappelle comme j’avais fait en ksh pour parser :

cat resultat | grep UsedMemory | awk -F"=" ' { print $4 }' | awk -F";" ' { print $1 }'
Parsing en ksh

On va décomposer étape par étape, je vais commencer par utiliser la commande split et lui indiquer divers séparateurs. Je l’avais déjà utilisé lors d’un précédent article, mais bon, ça fait déjà 4 ans et demi !

import re

example = "jvmRuntimeModule | HeapSize=524288;;;; FreeMemory=205940;;;; UsedMemory=318347;;;; UpTime=1356524;;;; ProcessCpuUsage=0;;;;"

parts = example.split()
print parts[4]
other = parts[4].split('=')
print other[1]
fin = other[1].split(';')
print fin[0]
parsing step by step

Voilà le résultat :

UsedMemory=318347;;;;
318347;;;;
318347

Optimisation de code

C’est un code qui fonctionne, me direz-vous, mais peut-on faire ça en deux lignes au lieu de trois ?

import re

example = "jvmRuntimeModule | HeapSize=524288;;;; FreeMemory=205940;;;; UsedMemory=318347;;;; UpTime=1356524;;;; ProcessCpuUsage=0;;;;"

partie = example.split(';')
print partie[8]
valeur = partie[8].split('=')
print valeur[1]

Résultat :

 UsedMemory=318347
318347

Il faut tout de même que je teste la présence de UsedMemory :

import re

example = "jvmRuntimeModule | HeapSize=524288;;;; FreeMemory=205940;;;; UsedMemory=318347;;;; UpTime=1356524;;;; ProcessCpuUsage=0;;;;"
if "UsedMemory" in example:
 partie = example.split(';')
 print partie[8].split('=')[1]

Si on revient à mon code initial, il faut que j’écrive sur la même ligne la date et la valeur d’UsedMemory. Pour l’instant, le code ci-dessous ne fonctionne pas !

for stat in statsList:
  if "UsedMemory" in str(stat):
   now = time.localtime(time.time())
   partie = stat.split(';')
   print time.strftime("%d/%m/%y %H:%M", now) , partie[8].split('=')[1]
   time.sleep(5)
Belle erreur python !

 

Traceback (innermost last):
  File "<string>", line 64, in ?
TypeError: string member test needs char left operand

Recherche Google

Du coup, je fais une petite recherche sur Google et je tombe sur l’excellent site stackoverflow. Je rajoute au passage un séparateur ; entre mes différents champs, ce qui me génèrera du « pseudo csv ».

for stat in statsList:
  if stat.find('UsedMemory=') >= 0:
   now = time.localtime(time.time())
   partie = stat.split(';')
   print time.strftime("%d/%m/%y %H:%M", now),";",partie[8].split('=')[1]
   time.sleep(5)

Résultat :

09/09/16 10:29 ; 383886
09/09/16 10:29 ; 383886
09/09/16 10:29 ; 385079
...
09/09/16 10:31 ; 396919
09/09/16 10:31 ; 396919
09/09/16 10:31 ; 398375
09/09/16 10:31 ; 396919

Pour la partie écriture dans un fichier de logs, pour l’instant je vais utiliser ksh :)

Sources : 

Tutoriels java sur slideshare

Il y a différentes manières d’apprendre le langage java. Un collègue m’a conseillé les présentations powerpoint hébergées sur le site slideshare. Vous trouverez donc ci-dessous quelques unes des présentations que j’ai lues.

La première présentation est en anglais, elle est adaptée aux débutants car elle reprend aussi les principes de la programmation.

 

Cette deuxième présentation en français n’est pas destinée aux programmeurs java, elle concernerait plus les administrateurs système. Le but de cette présentation est de nous apprendre comment optimiser la gestion de la mémoire de la JVM. Vous y trouverez des notions comme le garbage collector, le throughput ou encore heap.

Dans cette troisième présentation dédiée au garbage collector, vous entendrez parler de minor GC, de full GC, de survivor space… Rassurez-vous, même si cette présentation est en anglais, elle vous sera très utile pour comprendre comment le garbage collector fonctionne, comment il gère la mémoire. On y trouve des conseils sur l’allocation mémoire, par exemple, il est préconisé de créer des « petits » objets avec des durées de vie courtes. Le mécanisme de fuite mémoire y est notamment détaillé. Dans cette présentation, vous trouverez aussi des conseils pour bien gérer la mémoire : ne pas forcer le lancement du garbage collector (System.gc()), utiliser le bloc finally dans la programmation java (gestion des fichiers, gestion bases de données), … Elle mentionne quelques outils de base pour le monitoring : jconsole, jstat, jmap, jhat

Je vous laisse, je retourne sur le site slideshare :)

Erreur java : « Exception in thread « main » java.lang.NoClassDefFoundError »

Exception in thread « main » java.lang.NoClassDefFoundError

Comment ai-je obtenu cette très belle erreur ? Cela s’est produit quand j’ai essayé de lancer un programme java avec son extension .class :

erreur de débutante

Pour corriger cette erreur, il suffit de relancer le programme en supprimant l’extension .class. C’est une erreur de débutante, je l’avoue. Ce que je peux dire pour ma défense c’est que j’ai l’habitude de travailler avec des langages interprétés qui n’ont pas besoin de compilation. Il y a quelques années j’avais déjà essayé de coder en java, puis, je m’étais rabattue sur le php.

Source : commentcamarche.net