Fin du projet Benchmarking

Lancé en 2005, le projet Benchmarking des outils de veille a atteint ses objectifs :

- Initier un panorama des outils de veille et notamment de collecte et d'analyse d'information : 9 logiciels ont été testés

• Infocodex Knowledge Manager 4.2
• Intellixir Pack-synthèse
• Kaliwatch Professional 4.1
• KBCrawl 3.0
• KeyWatch 2.5
• LexiQuest Mine 2.2
• Mathéo Analyser 3.0
• Online Miner 3.2
• Tétralogie 7.0

- Se placer du côté des utilisateurs :

ont été constitués une fiche descriptive de 70 critères et un questionnaire de 52 questions auxquelles un logiciel de text mining est censé pouvoir répondre à partir d'un corpus test consacré aux OGM

- S'associer à des groupes de travail :

• une collaboration s'est mise en place avec le groupe interministériel consacré aux outils de veille et piloté jusqu'en septembre 2007 par le SGDN. Cette collaboration a notamment permis :
• la mise en place d'une grille descriptive permettant de clarifier l'offre des outils de veille et
• l'hébergement par l'INIST du portail en ligne, à accès réservé, des outils de veille.
• nous avons été contactés par ARPIST, le réseau des professionnels de l'information scientifique et technique de la région aquitaine-limousin pour remplir leur propre grille et apporter nos commentaires

- Établir des contacts avec des éditeurs :

des contacts ont été noués avec des éditeurs de logiciels (Intellixir, Infocodex France, KB Intelligence, Matheo Software, Arisem, Temis…)

- Devenir un acteur visible et neutre entre utilisateurs et éditeurs :

nous avons été contactés par le centre de recherche scientifique roumain qui souhaite implémenter la même étude

- Diffuser l'information en mettant en ligne les résultats de notre travail enregistrés dans une base de données

Les objectifs fixés étant atteints, nous avons décidé d'arrêter momentanément d'alimenter régulièrement ce site. Nous restons cependant disponibles et ouverts à toute demande de participation à des projets de même nature que ce soit pour les éditeurs, pour clarifier l'offre, pour aider dans le choix d'un produit ou pour réaliser des tests.

Forts de cette première expérience et en réponse à de nombreuses demandes de la part des utilisateurs, une nouvelle étude comparative va être implémentée en relation avec le service formation de l'INIST : elle concernera les logiciels de gestion de références bibliographiques.

Introduction

Suite à une présentation de Claire François de l'URI (Unité de Recherche et Innovation) sur la typologie des outils de veille lors des journées des documentalistes 2002, le service Veille de l'INIST (INstitut de l'Information Scientifique et Technique) a décidé de poursuivre l'étude.

Cette étude doit remplir des objectifs généraux et concerne des outils de veille sélectionnés par nos soins.

--> Objectifs généraux

Le service Veille, dans le cadre de ses missions, est amené à effectuer une veille régulière sur des outils du marché. Pour ce faire, des critères (de fonctionnalité, de facilité d'utilisation, de gestion du multilinguisme etc.) et des procédures de tests comparatifs ont été définis.

Il nous semble intéressant de présenter notre démarche (que nous voulons "objective") et de mettre à disposition d'une communauté de documentalistes les résultats de ces premiers tests, sachant qu'il sera ensuite possible d'évoluer vers un travail plus collaboratif.

--> Choix des outils

Les outils présents sur le marché et présentés dans les revues et portails spécialisés. Les outils sont testés quand une version d'essai est disponible, à défaut les informations sont récupérées sur Internet (les livres blancs, les plaquettes ou les sites des fournisseurs).

Méthodologie                                                

Elle repose sur deux principes : un référencement et une description s'appuyant sur des critères et des procédures de tests.

Détail de la méthodologie

--> Critères

Il s'agit de critères qui indiquent d'une part des informations générales (société éditrice, prix, présence ou non d'une version d'essai, multilinguisme etc.) et d'autre part des informations plus spécifiques (niveau de difficulté tant au niveau installation, qu'utilisation, la qualité de l'interface graphique, les formats d'imports acceptés etc.)

Liste des critères

• renseignements généraux sur la société éditrice et le logiciel ("famille" de l'outil, description rapide, prérequis technique, prix, version d'essai en ligne, pré ou non d'aide en ligne, de support technique)
• évaluation de la facilité ou non de l'utilisation et du paramétrage
format et structure des documents traiés (import et export)
• gestion du multilinguisme
• fonctionnalités liées à la collecte (crawl à partir d'urls, d'une requete ; surveillance/alerte/mise en évidence des modifications)
• fonctionnalités liées aux analyses statistiques (occurrences, co-occurrences)
• fonctionnalités liées aux analyses linguistiques (analyse morpho-lexicale, syntaxique, sémantique, extraction terminologique, gestion de dictionnaires, recherche d'entités nommées)
• fonctionnalités liées à la classification/catégorisation
• représentation graphique de l'information (listes, tableaux, cartographie, courbes de tendance, diagramme de répartition)
• fonctionnalités liées à la diffusion

--> Procédures de tests

Deux sous-projets ont été imaginés : le Crash Site qui permettra de tester les outils de surveillance de pages web, et le corpus test qui servira de cible pour évaluer la qualité d'analyse des outils de veille de type fouille de données textuelles.

Classement en familles d'outils                            

Le classement repose sur les différentes activités présentes dans un processus-type de veille : collecte, analyse-synthèse et diffusion de l'information, de l'information.

Ce classement comprend : les outils de collecte, les outils d'analyse, et les outils intégrés.
NB : les fonctionnalités liées à la diffusion sont traitées à l'intérieur de chaque famille

• Les outils de collecte (moteurs de recherche, outils de surveillance de sites web)

"La collecte d'informations vise à rassembler des faits, des opinions, des études sur les thèmes définis préalablement. Ces éléments sont collectés à partir de sources formelles ou de sources informelles. Les sources formelles sont le plus souvent des sources électroniques. Il s'agit de l'Internet, de fils d'information, de bases de données professionnelles Les sources informelles sont le plus souvent des sources humaines. Il peut s'agir, dans le cadre de la veille concurrentielle, de commerciaux opérant sur le terrain. Un premier classement et un stockage des informations brutes sont réalisés à ce niveau."

L'utilisation de ces logiciels permet de faciliter la collecte des informations. On peut donc y faire figurer tous les outils de veille tels que les moteurs de recherche, les outils de surveillace de sites, les crawlers etc.

 

• Les outils d'analyse (outils d'analyse textuelle, cartographie et catégorisation de l'information)

"L'analyse et la synthèse sont des activités à haut niveau de valeur ajoutée. Elles doivent permettre de valider les informations recueillies, d'en extraire le contenu pertinent, de l'intégrer dans une ou plusieurs synthèses et éventuellement de faire des propositions d'action. Un classement et un stockage des informations « raffinées » sont opérés à ce niveau. Usuellement c'est lors des activités d'analyse et de synthèse que sont produits les livrables de la veille."

Plutôt qu'une validation systématique des informations recueillies par un ou plusieurs experts, la tendance est maintenant à l'exploitation, par le responsable de veille, des informations recueillies. Le développement des technologies d'analyse textuelle permet d'inclure dans cette catégorie les outils d'analyse textuelle et statistique, cartographie, catégorisation ou tout logiciel qui peut aider à exploiter les informations collectées.

 

• Les outils de diffusion (à partir de profils créés édition de rapports, mailings etc.)

"La diffusion est la mise à disposition des informations, le plus souvent dans des livrables spécifiques, ainsi que les échanges et l'enrichissement qui en résultent. Des propositions d'action sont souvent intégrées. Il est bien clair qu'avant cette activité, une organisation spécifique de l'accès aux informations ainsi que des règles de confidentialité, doivent avoir été mises en place."

Rentrent dans cette catégorie les logiciels dits push qui renvoient l'information ciblée en fonction du profil de l'utilisateur et les outils de type groupware.

"Il est inconcevable de parler de démarche de veille sans parler de travail collaboratif. Celui-ci repose généralement sur des outils de groupware qui offrent l'ensemble des fonctionnalités indispensables au travail de groupe (outils de communication, fonctions de G.E.D., moteur de workflow, etc.)."

 

• Les outils dits intégrés concernent les outils effectuant de la collecte et de l'analyse.