espaceur bandeau-haut-droit.gif espaceur
espaceur espaceur espaceur
  espaceur test_titre.gif espaceur
espaceur espaceur espaceur espaceur espaceur espaceur
espaceur

CORPUS TEST

          Introduction       Méthodologie       Résultats

Introduction

Le principe de ce test est le suivant : nous testons les outils de text mining avec un même corpus en condition réelle de besoin informationnel.

Dans un premier temps, le test a été effectué avec un corpus comprenant 236 références bibliographiques sur le thème de "imidaclopride et abeilles" (voir historique du projet).

Par la suite, nous avons souhaité étendre notre expérimentation sur des corpus plus volumineux autour du thème des OGM. Les outils ont été testés avec successivement :

  • un corpus de 1000 références
  • un corpus de 5000 références
  • un corpus de 10000 références

Méthodologie

Nous avons élaboré un questionnaire de 52 questions auxquelles un logiciel de text mining est censé pouvoir répondre. Ceci permet d'évaluer les réponses de ce dernier face à un besoin informationnel auquel est confronté le veilleur (exemple: l'identification des principales équipes scientifiques travaillant sur un sujet donné).

On demande, pour chaque question, au testeur s'il a pu obtenir une réponse. Ainsi, s'offrent à lui 4 choix possibles :

  • Oui lorsque l'information est obtenue sans difficulté.
  • Oui, mais difficilement quand l'information est obtenue suite à plusieurs échecs ou essais (au moins deux essais), ou en ayant dû consulter une aide (en ligne ou pas).
  • Non en cas d'échec suite soit à une anomalie du logiciel, soit à une difficulté d'utilisation trop importante ayant mis le testeur en échec.
  • Sans objet quand le logiciel n'est pas initialement conçu pour répondre à ce besoin.

Résultats : la liste des outils de veille analysés via la méthode CorpusTest

  • LexiquestMine (corpus OGM de 1000 références) A venir
  • LexiquestMine (corpus OGM de 10000 références) A venir
  • KeyWatch (corpus OGM de 1000 références) A venir
  • KeyWatch (corpus OGM de 10000 références) A venir
  • Intellixir (corpus OGM de 1000 références) A venir
  • Intellixir (corpus OGM de 10000 références) A venir
espaceur

anoter.gifÀ noter

Qu'est-ce que le CrashSite ?

Suite à une volonté de procéder à des tests les plus objectifs possibles sur les outils de COLLECTE...

 

Il s'agit d'un 'faux' site où l'on va déclencher des événements qui devront être détecter par les outils de surveillance de sites Internet. Cette suite d'événements sera toujours identique pour chacun des outils testés ce qui permettra de les comparer de manière plus objective.

 

Ce test est actuellement en cours de réalisation et une page dédiée (pour l'instant en cours de construction) à ce test sera complétée au fur et à mesure.

Replier

Notre corpus test

Le service Veille propose un test d'efficacité et de fonctionnalités des outils d'analyse sur plusieurs corpus.

 

Un premier test a été réalisé avec un corpus de 236 documents sur le thème de l'imidaclopride et de son impact sur les abeilles.

De nouveaux corpus pour les prochains tests sont en cours de constitution.

Suites du projet...

 

Replier

Participation

Vous souhaiteriez contribuer aux tests des logiciels de veille, à l'alimentation de la base de données sur ces logiciels. C'est possible en nous contactant directement

espaceur
icones-01.gif espaceur espaceur espaceur
espaceur espaceur espaceur

 

 

logo-cnrs.jpg
espaceur
mininist.gif

 

pointilles.gif

Accueil

pointilles.gif

Référencement et description des outils de veille

pointilles.gif

CrashSite

pointilles.gif

Bibliographie et webographie

pointilles.gif

Accès privé

pointilles.gif

Syndication RSS 0.91


            pointilles.gif

Projet mené au sein du service Veille de l'INIST
par , &

Page d'accueil du CNRS Imprimer Contact Retour en haut de page