RE: normalisation de String

Je m’auto-répond :
-Le JDK6 dispose d’une API de normalisation de String avec java.text.Normalizer
-Pour le filtrage des stop words par contre je n’ai rien trouvé alors je vais réimplémenter un tokenizer+filtre (on me fournit la liste des stop words).


De : [email protected] [mailto:[email protected]]
Envoyé : lundi 8 novembre 2010 16:49
À : strasbg Java
Objet : normalisation de String

Bonjour,
Je cherche à « normaliser » des String de sorte à :
-passer en minuscules en supprimant les accents
-filter les « stop words » en différentes langues.

Je jette actuellement un œil aux classes faisant la chose dans Lucene mais elles opèrent sur un flux de Tokens et les tokenizers existants ne me conviennent pas (je souhaite garder la ponctuation).

Je devrais pouvoir implémenter un tokenizer qui ne filtre aucun caractère.

Quelle librairie utiliseriez-vous pour un tel besoin ?

Patrice


*********************************

This message and any attachments (the "message") are confidential and intended solely for the addressees.

Any unauthorised use or dissemination is prohibited.

Messages are susceptible to alteration.

France Telecom Group shall not be liable for the message if altered, changed or falsified.

If you are not the intended addressee of this message, please cancel it immediately and inform the sender.

********************************

*********************************
This message and any attachments (the "message") are confidential and intended solely for the addressees. 
Any unauthorised use or dissemination is prohibited.
Messages are susceptible to alteration. 
France Telecom Group shall not be liable for the message if altered, changed or falsified.
If you are not the intended addressee of this message, please cancel it immediately and inform the sender.
********************************