Yahoo Pipes: Colonne vertébrale d’une plateforme de veille multilingue, performante et gratuite

Voici l’article que j’ai publié dans l’ebook « Regards croisés sur la veille ». N’hésitez pas à commenter, critiquer et à me donner vos usages qui permettraient de compléter la méthode que je vous présente. N’oubliez pas que si Yahoo Pipes est la colonne vertébrale, le flux RSS est le système nerveux, l’idée est donc de couvrir l’ensemble du cycle de la veille avec ce format. Les outils ne l’intégrant ou ne pouvant le générer sont automatiquement écartés dans une optique de plateforme unique  :

———————————–

La veille est un processus qui implique l’utilisation de renseignements accessibles au public afin d’apprendre diverses choses sur son environnement (ses concurrents, ses partenaires, ses fournisseurs, son cadre législatif, les innovations technologiques, les  évolutions sociétales,…)

Afin qu’ils soient utiles, ces renseignement doivent être transformés en informations qui éclaireront sur les menaces ou les opportunités. Ces informations n’ont de valeurs que si elles amènent à des prises de décision qui induisent des actions ou des changements de la part de l’entreprise. Ce processus de veille est souvent rapproché de celui du renseignement (militaire) dont il tire ses origines.

Processus habituellement présenté sous forme cyclique :


Christophe Deschamps, dans l’avant-propos du livre blanc « Méthodes d’analyse appliquées à l’intelligence économique » écrit « A quelques exceptions près, les ouvrages consacrés à la veille stratégique ou à l’intelligence économique passent de la phase «Recherche d’information » à la phase « Diffusion/communication » en « glissant » sur celle, pourtant essentielle d’une Analyse, qu’on ne sait trop « par quel bout prendre ».

Je partage ce constat et je vais un peu plus loin en disant que cela se retrouve également dans les usages en entreprise mais aussi dans le business model de la veille en France, trop axé sur le logiciel de collecte et de diffusion.

Les réseaux sociaux et autres « outils 2.0 », qu’ils soient publics ou d’entreprises, révolutionnent les possibilités de la veille, tant sur la collecte de l’information que sur sa diffusion, la valeur ajoutée est donc plus que jamais sur l’expression des besoins, le sourcing et l’analyse.
Paradoxalement, ces nouveaux outils ont remis l’humain au coeur de la valeur. Pour illustrer mon propos : que choisissez-vous entre quelques excellents « curateurs », experts d’un domaine, et un corpus de plusieurs dizaines de milliers sources ?

L’esprit de cet article est donc d’inciter à consacrer plus de temps et de budget à la ré-interrogation constante de l’expression des besoins, au sourcing, au renseignement humain, et à l’analyse qui passe par le développement de l’intelligence collective au sein et en dehors de l’entreprise.

Voici donc un tutoriel, qui se cantonnera aux bases, sur Yahoo Pipes, un outil gratuit et robuste qui, avec de la méthode, un peu d’astuce et une connexion à d’autres outils gratuits peut satisfaire parfaitement les besoins de collecte, de tri et de diffusion d’une grande partie des entreprises, notamment des PME.

Présentation de Yahoo! Pipes

Yahoo! Pipes est une application web créée par Yahoo en 2007. La version beta a été inaugurée le 7 février 2007. Elle bénéficie d’un véritable succès d’estime, preuve en est la communauté très active sur son site, faisant même dire à Tim O’Reilly qu’« un pas important dans l’Internet venait d’être franchi ». Malgré cela, on ne peut pas dire que Yahoo fasse des efforts démesurés de communication sur son outil. Cela est peut-être dû au fait que le service n’est pas intuitif, de prime abord.
L’idée est de mettre à disposition une interface graphique simple permettant de faire de la programmation grâce à des pipes. « Un «pipe» (tuyau) est un canal de communication entre deux programmes, reliant la sortie de l’un à l’entrée de l’autre. L’idée étant de réaliser des tâches complexes en chaînant une succession de programmes simples ».

Le service permet de faire communiquer différents éléments en permettant de les combiner, les trier, les conditionner pour arriver à un flux unique.

Présentation d’un « pipe » :

Les éléments mis à disposition sont très variés. Citons en particulier, le flux RSS, élément principal de Pipes.
Mais on trouve aussi des données XML, du Regex, des modules de recherche, des champs de saisie, des boucles, des compteurs, des modules de traduction, la possibilité de géolocaliser les informations…

Le tout compose une plateforme de gestion des flux. Les possibilités de combiner plusieurs « pipes » entre eux ainsi que de les partager ou bien d’utiliser des « pipes » créés par un autre utilisateur en font un outil très puissant et robuste. Pour preuve voici un flux contenant plus de 300 sources:

Pour l’utiliser, il faut disposer d’un compte Yahoo. Une fois le compte créé et connecté, cliquez sur le bouton « Create a pipe ».

Voici les étapes et les six modules que nous utiliserons pour un usage basique :

« Fetch feed » :

Glissez-déposez le module « Fetch feed » sur la page blanche et collez les différents flux RSS que vous voulez suivre dans le module. Si on insère plusieurs flux dans ce module, il n’en sortira qu’un, donc c’est un excellent outil pour fusionner les flux RSS.
Pour voir le résultat du module, on doit cliquer sur le haut, celui-ci va devenir orangé et les résultats vont apparaître en bas de page, dans la zone grisée.

« Union » :

Le module « Union » permet de fusionner les flux provenant de plusieurs modules.

« Filter » :

Les filtres permettent de bloquer des articles, ou à l’inverse de les laisser passer. Ces filtres peuvent être posés à partir de mots contenus :
– dans la description des articles contenus dans le flux ;
– dans les titres des articles du flux ;
– dans l’adresse du site internet d’où provient le flux
(pratique pour filtrer des sources inadéquates remontées régulièrement, par les alertes Google par exemple).

Ainsi dans cet exemple, nous prenons le flux RSS du site du journal Le Monde pour pouvoir le filtrer.
Avec le premier filtre, nous permettons seulement aux articles contenant le terme « intelligence économique » dans leur titre de passer. Dans le second filtre, nous permettons seulement aux articles (traitant donc d’intelligence économique) ne possédant pas le terme « espionnage industriel » dans leur titre de passer. Nous pouvons ajouter des règles en cliquant sur « Rules » et élargir les restrictions ou les autorisations en choisissant le titre ET la description. En faisant ainsi, nous avons un flux RSS qui ne donnera que les articles du Monde traitant d’intelligence économique sans que ne soient évoquées les problématiques d’espionnage industriel.

« Unique » :

Module permettant de supprimer les éventuels doublons. Dans l’exemple qui suit, il y a une succession de 3 modules « Uniques ». En effet, l’outil ne permet pas de filtrer dans la globalité. Il faut donc choisir à chaque étape ce sur quoi porte le filtre, et lorsque l’on veut filtrer le tout, superposer les filtres qui peuvent porter sur les titres, les descriptions ainsi que les URL identiques. Cette
façon de faire permet d’éviter les doublons en prenant en compte l’intégralité du flux.

« Sort » :

Permet de ranger les articles contenus dans le flux afin qu’ils soient classés du plus récent au plus ancien, il faut choisir Sort by « pubDate » in « descending » order.

« Truncate » :

Permet de limiter le flux à un nombre d’objets déterminé, ceci afin de ne pas l’alourdir avec des articles parfois vieux de plusieurs années.

Yahoo! Pipes est un outil puissant, néanmoins, le nombre de sources peut grossir considérablement dans le cadre de la mise en place de certaines veilles. Il faut dans ce cas alléger les flux car ceux-ci peuvent ne plus se charger. Nous pouvons réduire le nombre d’objets au sein du flux avec le module « Truncate ». En faisant cela, on augmente le turn-over des informations qu’il contient et donc la fréquence de consultation de la part du veilleur.

L’outil possède un module de traduction des flux utilisant la technologie de traduction Yahoo! : Babelfish. Mais ce module ne donne pas entière satisfaction car :
– Il n’arrive parfois pas à traduire des objets de certains flux.
– La traduction n’est pas toujours compréhensible.
– L’article ouvert n’est pas traduit.

Voici un pipe standard que vous pouvez vous approprier pour commencer : http://pipes.yahoo.com/pipes/pipe.
edit?_id=35aa73fd9e2c5ada6c69de9db84c4472

N’oubliez pas de sauvegarder votre travail en haut à droite de la page. Pour acquérir le flux RSS créé, retournez sur la page d’accueil du tuyau créé et cliquez sur « Get the RSS »:

D’autres outils gratuits, une fois « plugés » à Yahoo! Pipes vont démultiplier les possibilités de ce dernier.

Je ne détaillerai pas l’usage de ces outils dont on peut trouver d’excellents tutoriaux par ailleurs mais je vous en donne une liste non exhaustive:

Collecte :

Alertes Google : permet de surveiller l’actualité en temps réel de la presse et de certains réseaux sociaux, les blogs, les vidéos et les discussions crawlés par le puissant Google.
TwitterSearch : permet de créer un flux RSS pour surveiller l’activité sur Twitter.
Diphur : permet de créer un flux RSS sur un site qui n’en propose pas.

Tri :

Les opérateurs booléens dans la constitution des alertes permettent de filtrer à la source.

Traduction :

Mloovi, un excellent outil de traduction de flux RSS utilisant l’API de Google et permettant de traduire directement dans Yahoo! Pipes a disparu. Dans l’attente de l’arrivée d’un équivalent fiable, nous devons nous contenter d’utiliser Google Reader, ce qui nous oblige à utiliser ce lecteur RSS dans le cadre d’une veille à l’international. Pour nous consoler, rappelons que Google permet de traduire plus qu’honorablement et gratuitement 53 langues.

Diffusion :

Nous pouvons utiliser le flux dans un lecteur RSS mais certains préfèrent recevoir périodiquement une newsletter dans leurs boîtes mail. Pour créer une newsletter automatique, il faut aller dans Feedburner.

Nous pouvons également créer un tableau de bord de veille en alimentant un portail Netvibes avec les flux RSS crée.

Stockage :

De nombreux articles ou pages web peuvent disparaitre, pour éviter de perdre l’information, il peut être judicieux d’aspirer ces pages et de les stocker.
Scrapbook, un add-on Mozilla permet de faire cela. Il propose également un moteur de recherche performant qui permet de retrouver des articles au sein de la base de données créée. Ce moteur de recherche est également pratique car il surligne en jaune, dans les pages, les requêtes effectuées.

Partage de la base de données au sein d’un groupe de travail :

Il est possible de mettre à disposition la base de données constituée par le veilleur à un groupe de travail sur un dossier partagé. Il suffit que chacun des collaborateurs soit équipé de Scrapbook pour bénéficier du moteur de recherche et que le dossier de partage de la base se trouve sur Dropbox.

Schéma global de la plateforme de veille gratuite.

12 réflexions sur « Yahoo Pipes: Colonne vertébrale d’une plateforme de veille multilingue, performante et gratuite »

  1. Pour information il y a un logiciel qui fait tout ca et qui s’appelle Vienna 🙂 que sur MAC par contre !

  2. Mais c’est super cet outil …
    Comment ai-je pu vivre sans le connaître jusqu’au aujourd’hui ?
    Je vais tester tout ça de ce pas 🙂
    En tout cas un grand merci pour ce concentré d’informations!

  3. Merci. N’étant pas sur Mac je ne connaissait pas Vienna. De ce que j’en lis c’est un excellent lecteur/agrégateur RSS, simple qui permet de filtrer et classer par dossier.

    Sur Windows, nous avons FeedDemon qui permet de faire cela également: http://www.feeddemon.com/

    J’ai mis en place le système de veille que je vous ai présenté pour un client dont la veille organisée autour d’un lecteur/agrégateur RSS du même type que Vienna devenait tellement conséquente en nombre de flux (plusieurs milliers) et de filtres posés que seule l’ouverture du logiciel prenait 20 minutes. Le temps d’actualisation des flux n’était pas mal non plus.

    De plus, si nous pouvons fusionner dans le logiciel les flux RSS sur une thématique donnée dans un dossier, on ne peut pas générer un flux RSS qui nous permettent de sortir du logiciel pour le réemployer ailleurs. Donc nous sommes coincés dans le lecteur. C’est très embêtant et nous limite dans les possibilités comme créer et alimenter un dashboard d’entreprise, créer une newsletter automatique, partager la veille (non pas sur quelques articles, mais sur le flux en entier).

    Autre exemple, je suppose que Vienna ne permet pas de traduire à la volée à la manière de Google reader. Si c’est le cas, il ne permet de pas faire une veille à l’internationale.
    Ne permettant pas non plus la synchronisation avec Google Reader, il faut utiliser deux lecteurs RSS, ce qui n’est pas très pratique.

    Si dans le cadre de notre veille nous n’avons pas besoin de robustesse (car le nombre de flux est faible) ni d’interopérabilité, alors un simple agrégateur RSS comme Vienna ou Feedemon est suffisant.

  4. Une possibilité que j’utilise sur un projet, c’est d’agréger un flux RSS en provenance de plusieurs sources et de le réinjecter sur un compte Twitter dédié (par exemple). Il est même possible d’automatiser des interactions avec des utilisateurs (réponses automatiques, etc).

  5. Merci pour le tuto Terry, c’est vrai que c’est un outil formidable.

    Cependant j’ai rencontré un souci avec le module filter. J’avais défini un corpus de sources et voulait obtenir toutes les publications avec le mot « audi » dans le titre. Ça marchait mais j’avais aussi tous les mots du style « audience », « audit », enfin bref les guillemets ne fonctionnaient pas.

    Je me suis rendu compte que ça provenait de la V2 de Yahoo Pipes, en repassant à la V1 tout fonctionne bien grâce à l’opérateur \bAudi\b et en sélectionnant Matches Regex dans le menu déroulant.

    La V1 va bientôt disparaître, j’espère que ça va pas impacter mes pipes. Voilà mon retour d’expérience 😉

  6. Merci Gautier pour ce retour d’expérience.

    Yahoo Pipes est un outil qui est utilisé par un cercle restreint de personnes comparé à de nombreux autres services.
    Néanmoins ce petit cercle est une communauté très active et réactive, l’équipe Yahoo en charge du projet l’est également.

    Toute cette activité se retrouve sur le forum: http://discuss.pipes.yahoo.com/
    J’ai souvenir il y a deux ans de la suppression d’un module, remis en urgence et avec toutes les excuses de l’équipe Yahoo 2 jours après à cause des réactions massives et virulentes de la communauté.

    Pour le passage de la V1 à la V2 cet été, Yahoo a crée un groupe spécial où l’on peut reporter tous nos problèmes ou questions. Peut-être que ta question y a déjà été posée, ou tu peux la poser toi même, c’est ici: http://tech.groups.yahoo.com/group/pipes-engine2users/

    C’est un point qui m’intéresse également mais que je n’ai pas le temps de traiter cette semaine… Vivement les vacances 🙂

  7. Super outil, malheureusement j’ai bien l’impression que ces derniers jours sont comptes. La V2 est archi-buguee et il ne semble pas qu’il ait beaucoup de monde qui travaille dessus. C’est le probleme avec les services gratuits de ce genre, j’y ai investi beaucoup de temps et au final je me retrouve a chercher une alternative…

    Si au passage vous en connaisez je suis preneur.

  8. Bonjour Justin,

    Ne soyez pas si pessimiste. Si jamais la voie de la V2 n’aboutissait pas, peut-être choisirait-il de revenir vers la V1 plutôt que supprimer le service.

    Ça fait 3 ans que j’entends parler de la pérennité de Yahoo Pipes, à l’époque il était encore en béta, et aujourd’hui il va passer en V2, comme quoi…
    Et ceux qui ne voulaient pas y aller pour cette seule raison il y a 3 ans ont gâchés 3 années d’usage voire d’économie s’ils ont pris des outils payants.
    C’est cela que je trouve stimulant avec le choix du gratuit, ne pas être tributaire d’un logiciel, d’une logique, de ses limites et surfer sur la vague du moment, puis passer à la suivante soit contraint, soit parce que la suivante est plus belle.

    Ce n’est pas le gratuit qui nous rend tributaire de l’existence d’un outil, après tout, Yahoo a une espérance de vie peut-être plus grande que certains grands noms des logiciels de veille (cet argument se veut juste provocateur).
    Plus sérieusement, ce qui nous rend tributaire d’un service, c’est le fait que celui-ci soit propriétaire, c’est pourquoi dans mes choix d’outils, depuis peu, je ne prend plus que de l’open source.

    Pour les alternatives, en voici quelques-unes dont je ne peux pas encore parler, mais je vais en tester quelques-unes:
    http://neyric.github.com/wireit/
    http://webhookit.com/docs/index.html
    http://tarpipe.com/

  9. Merci pour les liens.

    Bien entendu, je ne vais pas abandonner Yahoo Pipes de si tot et j’espere bien ne jamais avoir a le faire. Cependant la maniere dont la migration est en train d’etre effectuee m’inquiete un peu. Desormais tout pipe migre en V2 ne peuvent plus etre downgradees et a partir du premier aout tous les pipes seront migree automatiquement en V2. Sur chaque Pipe que j’ai migre (environ 5) j’ai eu des problemes avec en sortie des resultats inexploitables.

    J’espere juste que Yahoo Pipes aura les ressources pour regler ces problemes rapidement car sinon beaucoup de business vont en patir… Je pense egalement que l’open est souvent la meilleur solution a partir du moment ou la communaute est suffisament active. Au fait Yahoo Pipe est-il open source?

  10. Merci pour ce tuto !! Je dois dire que je connaissais le principe mais je suis jamais penché sur mon mode de fonctionnement !!

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.