espaceur bandeau-haut-droit.gif espaceur
espaceur espaceur espaceur
  espaceur test_titre.jpg espaceur
espaceur espaceur espaceur espaceur espaceur espaceur
  espaceur

         Introduction       Méthodologie       Classement en famille d'outils

alaune-grd.gif

Fin du projet Benchmarking

Lancé en 2005, le projet Benchmarking des outils de veille a atteint ses objectifs :

- Initier un panorama des outils de veille et notamment de collecte et d'analyse d'information : 9 logiciels ont été testés

  • Infocodex Knowledge Manager 4.2
  • Intellixir Pack-synthèse
  • Kaliwatch Professional 4.1
  • KBCrawl 3.0
  • KeyWatch 2.5
  • LexiQuest Mine 2.2
  • Mathéo Analyser 3.0
  • Online Miner 3.2
  • Tétralogie 7.0

- Se placer du côté des utilisateurs :

ont été constitués une fiche descriptive de 70 critères et un questionnaire de 52 questions auxquelles un logiciel de text mining est censé pouvoir répondre à partir d'un corpus test consacré aux OGM

- S'associer à des groupes de travail :

  • une collaboration s'est mise en place avec le groupe interministériel consacré aux outils de veille et piloté jusqu'en septembre 2007 par le SGDN. Cette collaboration a notamment permis :
    • la mise en place d'une grille descriptive permettant de clarifier l'offre des outils de veille et
    • l'hébergement par l'INIST du portail en ligne, à accès réservé, des outils de veille.
  • nous avons été contactés par ARPIST, le réseau des professionnels de l'information scientifique et technique de la région aquitaine-limousin pour remplir leur propre grille et apporter nos commentaires

- Établir des contacts avec des éditeurs :

des contacts ont été noués avec des éditeurs de logiciels (Intellixir, Infocodex France, KB Intelligence, Matheo Software, Arisem, Temis…)

- Devenir un acteur visible et neutre entre utilisateurs et éditeurs :

nous avons été contactés par le centre de recherche scientifique roumain qui souhaite implémenter la même étude

- Diffuser l'information en mettant en ligne les résultats de notre travail enregistrés dans une base de données

 

Les objectifs fixés étant atteints, nous avons décidé d'arrêter momentanément d'alimenter régulièrement ce site. Nous restons cependant disponibles et ouverts à toute demande de participation à des projets de même nature que ce soit pour les éditeurs, pour clarifier l'offre, pour aider dans le choix d'un produit ou pour réaliser des tests.

Forts de cette première expérience et en réponse à de nombreuses demandes de la part des utilisateurs, une nouvelle étude comparative va être implémentée en relation avec le service formation de l'INIST : elle concernera les logiciels de gestion de références bibliographiques.

filet-couleur.gif

alaune-grd.gif

Introduction

Suite à une présentation de Claire François de l'URI (Unité de Recherche et Innovation) sur la typologie des outils de veille lors des journées des documentalistes 2002, le service Veille de l'INIST (INstitut de l'Information Scientifique et Technique) a décidé de poursuivre l'étude.

Cette étude doit remplir des objectifs généraux et concerne des outils de veille sélectionnés par nos soins.


 

--> Objectifs généraux

Le service Veille, dans le cadre de ses missions, est amené à effectuer une veille régulière sur des outils du marché. Pour ce faire, des critères (de fonctionnalité, de facilité d'utilisation, de gestion du multilinguisme etc.) et des procédures de tests comparatifs ont été définis.

Il nous semble intéressant de présenter notre démarche (que nous voulons "objective") et de mettre à disposition d'une communauté de documentalistes les résultats de ces premiers tests, sachant qu'il sera ensuite possible d'évoluer vers un travail plus collaboratif.


--> Choix des outils

Les outils présents sur le marché et présentés dans les revues et portails spécialisés. Les outils sont testés quand une version d'essai est disponible, à défaut les informations sont récupérées sur Internet (les livres blancs, les plaquettes ou les sites des fournisseurs).

 

filet-couleur.gif

actulabo2.gif

Méthodologie                                                

Elle repose sur deux principes : un référencement et une description s'appuyant sur des critères et des procédures de tests.

Détail de la méthodologie

 

--> Critères

Il s'agit de critères qui indiquent d'une part des informations générales (société éditrice, prix, présence ou non d'une version d'essai, multilinguisme etc.) et d'autre part des informations plus spécifiques (niveau de difficulté tant au niveau installation, qu'utilisation, la qualité de l'interface graphique, les formats d'imports acceptés etc.)

 

lire-la-suite.gifListe des critères

  • renseignements généraux sur la société éditrice et le logiciel ("famille" de l'outil, description rapide, prérequis technique, prix, version d'essai en ligne, pré ou non d'aide en ligne, de support technique)
  • évaluation de la facilité ou non de l'utilisation et du paramétrage
  • format et structure des documents traiés (import et export)
  • gestion du multilinguisme
  • fonctionnalités liées à la collecte (crawl à partir d'urls, d'une requete ; surveillance/alerte/mise en évidence des modifications)
  • fonctionnalités liées aux analyses statistiques (occurrences, co-occurrences)
  • fonctionnalités liées aux analyses linguistiques (analyse morpho-lexicale, syntaxique, sémantique, extraction terminologique, gestion de dictionnaires, recherche d'entités nommées)
  • fonctionnalités liées à la classification/catégorisation
  • représentation graphique de l'information (listes, tableaux, cartographie, courbes de tendance, diagramme de répartition)
  • fonctionnalités liées à la diffusion

 

--> Procédures de tests

Deux sous-projets ont été imaginés : le Crash Site qui permettra de tester les outils de surveillance de pages web, et le corpus test qui servira de cible pour évaluer la qualité d'analyse des outils de veille de type fouille de données textuelles.

filet-couleur.gif
actulabo2.gif

Classement en familles d'outils                            

 

Le classement repose sur les différentes activités présentes dans un processus-type de veille : collecte, analyse-synthèse et diffusion de l'information, de l'information.

 

Ce classement comprend : les outils de collecte, les outils d'analyse, et les outils intégrés.
NB : les fonctionnalités liées à la diffusion sont traitées à l'intérieur de chaque famille

 

  • Les outils de collecte (moteurs de recherche, outils de surveillance de sites web)
  • "La collecte d'informations vise à rassembler des faits, des opinions, des études sur les thèmes définis préalablement. Ces éléments sont collectés à partir de sources formelles ou de sources informelles. Les sources formelles sont le plus souvent des sources électroniques. Il s'agit de l'Internet, de fils d'information, de bases de données professionnelles Les sources informelles sont le plus souvent des sources humaines. Il peut s'agir, dans le cadre de la veille concurrentielle, de commerciaux opérant sur le terrain. Un premier classement et un stockage des informations brutes sont réalisés à ce niveau."

    L'utilisation de ces logiciels permet de faciliter la collecte des informations. On peut donc y faire figurer tous les outils de veille tels que les moteurs de recherche, les outils de surveillace de sites, les crawlers etc.

     

  • Les outils d'analyse (outils d'analyse textuelle, cartographie et catégorisation de l'information)
  • "L'analyse et la synthèse sont des activités à haut niveau de valeur ajoutée. Elles doivent permettre de valider les informations recueillies, d'en extraire le contenu pertinent, de l'intégrer dans une ou plusieurs synthèses et éventuellement de faire des propositions d'action. Un classement et un stockage des informations « raffinées » sont opérés à ce niveau. Usuellement c'est lors des activités d'analyse et de synthèse que sont produits les livrables de la veille."

    Plutôt qu'une validation systématique des informations recueillies par un ou plusieurs experts, la tendance est maintenant à l'exploitation, par le responsable de veille, des informations recueillies. Le développement des technologies d'analyse textuelle permet d'inclure dans cette catégorie les outils d'analyse textuelle et statistique, cartographie, catégorisation ou tout logiciel qui peut aider à exploiter les informations collectées.

     

  • Les outils de diffusion (à partir de profils créés édition de rapports, mailings etc.)
  • "La diffusion est la mise à disposition des informations, le plus souvent dans des livrables spécifiques, ainsi que les échanges et l'enrichissement qui en résultent. Des propositions d'action sont souvent intégrées. Il est bien clair qu'avant cette activité, une organisation spécifique de l'accès aux informations ainsi que des règles de confidentialité, doivent avoir été mises en place."

    Rentrent dans cette catégorie les logiciels dits push qui renvoient l'information ciblée en fonction du profil de l'utilisateur et les outils de type groupware.

    "Il est inconcevable de parler de démarche de veille sans parler de travail collaboratif. Celui-ci repose généralement sur des outils de groupware qui offrent l'ensemble des fonctionnalités indispensables au travail de groupe (outils de communication, fonctions de G.E.D., moteur de workflow, etc.)."

     

  • Les outils dits intégrés concernent les outils effectuant de la collecte et de l'analyse.
espaceur

anoter.gifÀ noter

Le CrashSite

Suite à une volonté de procéder à des tests les plus objectifs possibles sur les outils de collecte...

 

Il s'agit d'un 'faux' site où l'on va déclencher des événements qui devront être détectés par les outils de surveillance de sites Internet. Cette suite d'événements sera toujours identique pour chacun des outils testés, ce qui permettra de les comparer de manière plus objective.

 

Ce test est actuellement en cours de réalisation et une page dédiée (pour l'instant en cours de construction) à ce test sera complétée au fur et à mesure.

Replier

Le corpus test

Le service Veille propose un test d'efficacité et de fonctionnalités des outils d'analyse sur plusieurs corpus.

 

Un premier test a été réalisé avec un corpus de 236 documents sur le thème de l'imidaclopride et de son impact sur les abeilles.

De nouveaux corpus ont été testés.

Suites du projet...

 

Replier

Participation

Vous souhaiteriez contribuer aux tests des logiciels de veille, à l'alimentation de la base de données sur ces logiciels. C'est possible en nous

espaceur
icones-01.gif espaceur espaceur espaceur
espaceur espaceur espaceur espaceur espaceur espaceur

 

 

logo-cnrs.jpg
espaceur
mininist.gif
espaceur

 

pointilles.gif

Référencement et description des outils de veille

pointilles.gif

Corpus Test

pointilles.gif

CrashSite

pointilles.gif

Bibliographie et webographie

pointilles.gif

Accès privé

pointilles.gif

Syndication RSS 0.91


            pointilles.gif

Projet mené au sein du service Veille de l'INIST
par , &

2.htm 5.htm Imprimer Contact Retour au haut de la page