Google correlate : le Datamining avec Google

Google correlate : le Datamining avec Google

Dans la même lignée d’un article précédent sur les efforts des services de renseignements pour exploiter les données publiques (open datas) pour en extraire des tendances statistiques, Google avait lancé discrètement en mai dernier (2011), un nouvel outil, Google Correlate, s’apparentant à du datamining, dans une version plus poussée que celle de Google trends, sur un plus grand nombre d’activités.

Google Correlate est d’ors et déjà disponible dans le Labs de Google, ce qui implique de posséder pour le moment une adresse gmail valide.

google correlate data mining

Google correlate : un véritable outil de datamining

C’est une étape supplémentaire qui est franchit avec cet outil dans l’exploitation des données « open ». En effet, Google correlate permet de prédire l’évolution de certains secteurs d’activités au travers d’une thématique, à partir de l’agrégation de données en provenance de Google, chose que ne pouvait pas faire des outils comme  Google Trends et Google Insights for Search qui ne sortaient que les tendances associées à une requête de recherche.

Google correlate permet ainsi de rentrer dans une thématique précise, et de voir ensuite les types de requêtes de recherches associés (sémantiquement et par recherche). On peut également facilement comparer deux types de données et de thématiques, et voir s’il existe une corrélation en terme de recherches. On peut même envoyer des fichiers comportant ses échantillons de données et obtenir des résultats très précis, tant dans la saisonnalité des recherches que dans les associations de champs de requêtes. Autre possibilité offerte par l’outil, la possibilité de dessiner soi-même ces courbes de trafic pour déterminer les requêtes les plus proches en terme d’évolution du nombre de recherches (attention, la précision est relative 🙂 ).

Le but de Correlate est de, à partir des données d’une thématique, mettre en avant des corrélations mathématiques permettant de coupler certaines activités de recherche dans le temps. Bref, c’est du datamining

Loin d’être anecdotique, ces données sont déjà utilisées par certaines grandes institutions, comme par exemple la Banque d’Angleterre qui utilise déjà les données de Google pour effectuer certaines corrélations de données entre les données web de recherche et d’autres statistiques à disposition dans le cadre de sa surveillance de l’économie britannique,  comme par exemple sur le prix de l’immobilier, sur la perception de l’inflation, sur la demande en produits manufacturés ou sur la perception du prix de l’essence.

Fonctionnement de l’outil

Par requête

C’est la première méthode d’utilisation la plus évidente. L’outil vous propose de chercher une requête par zone  (US states pour le moment) ou par période de temps (shift). Coupe du monde de rugby oblige, j’essaye avec le terme « rugby ». L’outil me donne la liste de corrélations suivantes :

google correlate dataminingCela semble logique… En cliquant sur chaque corrélation, on verra apparait le graphe de corrélation entre les deux termes (avec courbes ou nuages de points):

correlate data miningEn cliquant sur le graphe, on pourra également affiner l’analyse des corrélations en sélectionnant une zone de temps plus précise.

Il faut bien garder à l’esprit que les chiffres indiquées et les mesures sont en nombre absolu et non en volume de recherches. Ainsi, un des termes peut avoir un volume de recherche trois fois plus important que l’autre terme en corrélation.

Par matrice de recherche

Pour cela, il faudra « uploader » des données de recherche (évolution de la température moyenne à Paris par exemple), et voir si Google trouvera des corrélations en rapport. Mais, comme pour le moment seules les données US sont disponibles, je n’ai pas pu faire de tests concrets.

Les limites de Google Correlate

Evidemment, Google Correlate possède ses limites en terme de datamining. Elles peuvent même etre résumé par cette phrase :

corrélation ne vaut pas dire causalité

En effet, le fait que deux termes possèdent une corrélation ne veut pas dire forcément qu’il y a forcément un lien de causalité. C’est la limite scientifique de l’outil qui ne permet d’obtenir ce niveau de vérification.

Deuxièmement, le datamining est en lui-même une mauvaise extrapolation de statistiques, et va à l’encontre du modèle scientifique en ne testant qu’un modèle, et en faisant abstraction de la mise en place d’hypothèses de travail. Or logiquement, toute expérimentation scientifique en économétrie implique de suivre de schéma suivant, fastidieux certes, mais simple et très complet : déterminer une hypothèse, la tester, la valider ou non.

C’est le même problème avec le datamining de Google correlate, avec un risque important de voir apparaitre des centaines de requêtes à fort taux de corrélation, alors que dans le tas, seules quelques unes de ces requêtes sont effectivement en corrélation avec la thématique de recherche. Ceci du fait de la masse de données initiales, et parce que l’on ne réalise pas de validation d’hypothèses. Il faut donc faire attention.

Enfin, Google correlate est encore très axé sur les données en langue anglaise (Google Labs oblige, c’est encore un outil en phase de test, avec sans doute les données d’un nombre de serveurs limités à la zone anglophone). Les résultats francophones sont encore un peu limités.

Pour compléter ce datamining, un outil pour les mots clés : Advanced web ranking

Enfin, pour compléter ces données de datamining sur les types de recherches associées, on pourra utiliser un outil appelé Advanced web ranking, édité par la société Caphyon, et qui a le mérite d’être très complet.  il est parfait pour aider les référenceurs et les personnes désireuses de chercher des mots-clés pertinents sur une thématique précise.

outil tracking mots clésCet outil permet en effet de recouper les données de plusieurs autres outils tels que :

  • Google AdWords,
  • Google Suggest,
  • Google Webmaster Tools,
  • Wordtracker,
  • Yahoo Related Keyword Search,
  • SEMRush Keywords.

Bref, l’essentiel des sources pour trouver de l’information pertinente sur des mots-clés.

Conclusion : un outil tout de même très intéressant

Google correlate est à n’en pas douter un outil précieux malgré ses limites. Il faut juste l’utiliser avec prudence, en n’hésitant pas là encore, à recouper et à tester les résultats obtenus avec d’autres données extérieurs.

Néanmoins, les résultats obtenus en essayant deux trois axes de recherches sont vraiment très intéressants.

Sources:

-tutoriel d’utilisation de Google Correlate

Livre blanc Google Correlate

FAQ de Google Correlate

Anticiper l’avenir par les tweets et les trends

Anticiper l’avenir par les tweets et les trends

oracle future twitter

Utiliser « Google trends » pour anticiper le futur

Voilà un fait intéressant. Si l’on en croit le magazine américain Wired, la communauté du renseignement américain utiliserait google trends pour voir le futur, enfin plutôt pour anticiper les pics liés à un évènement.

Pour cela, il aurait à leur disposition une version plus sophistiquée de la version tout public fourni par Google, comportant en plus les pointes et les « hot trends » de Twitter et de Youtube.

Bon évidemment tout cela n’est pas fourni directement par Google mais plutôt par l’IARPA, le « think tank » de recherche du renseignement américain, qui a annoncé récemment le lancement d’un nouveau programme qui a pour but de mettre en place une solution efficace pour « parcourir le web, collecter des données publiques et les analyser afin d’en extraire des tendances futures et prédire l’apparition d’évènements dans le monde », cela évidemment « avant les médias ».

Un objectif : anticiper tout changement dans le « zeitgeist »

L’idée, si j’ai bien compris, est de collecter des données sur des évènements passés (crises politiques, instabilité économique, catastrophes naturelles, pandémies, pénuries de matières premières….) afin d’en extraire tout le corollaire de « blips », de pics (hot trends) et de signaux faibles dans les réseaux sociaux, les blogs, les forums… référencés par les moteurs de recherche tels que Google, afin de construire des modèles mathématiques d’évènements. Permettant ainsi d’anticiper l’apparition d’un évènement du même ordre.

Il ne s’agit ni plus ni moins que d’analyser tout les frémissements qui secoue le « zeitgeist« , c’est à dire « l’esprit actuel du temps », et pouvant amener à un changement dans la conception prévalente du monde à un temps T.

Extrapolation de Google Flu

C’est indéniablement un projet d’une taille énorme, même si cela n’est pas vraiment nouveau. Google lui-même s’était lancé en 2009 dans la construction de modèles prédictifs en analysant l’ensemble de ses données référencées, dans un but, il faut l’avouer, beaucoup plus philanthropique que les services de renseignements américains.

C’était le projet Google Flu Trends qui avait pour but de prévoir l’évolution de la pandémie de la grippe aviaire dans le monde.

Plus récemment encore, un autre organisme public, la Banque d’Angleterre, avait annoncé utiliser les données provenant de tendances de recherches sur des moteurs de recherche, et notamment depuis Google trends, pour comprendre un certain nombre de tendances économiques, comme par exemple la corrélation des recherches sur les termes « estate agents » (agents immobiliers) avec l’évolution de l’inflation sur les prix de l’immobilier, idem pour l’évolution des courbes du chômage avec des recherches comme « unemployment » et « JSA » (RSA).

Utiliser des données publiques comme sources de renseignements : une évolution logique

Au fond, cet intérêt des services de renseignement pour les données publiques n’est pas nouveau. Le travail de journalisme n’étant au final pas si différent de celui d’officier de renseignements, hormis la portée évidemment. A savoir, tenter de collecter par tous les moyens possibles de l’information.

En plus la masse des données ouvertes est considérable, à condition que l’on puisse filtrer le bruit des parasites pour en extraire des données valables. Sans compter que ces données publiques sont extrêmement dynamiques et réactive, beaucoup plus que les données provenant de circuits moins officiels.

Tout cela explique pourquoi les services de renseignements s’intéressent de plus en plus à des outils « open et cloud » permettant de « crawler » en temps réel la toile de blogs, réseaux sociaux, forums…

La prochaine étape : affiner les prédictions

La prochaine du IARPA sera d’affiner les prédictions, de façon à être sûr que celles qui sortent soit celles qui deviennent des réalités. En effet, si Internet et ses données peut fournir des réponses, reste à savoir poser les bonnes questions.

Mais avant d’en arriver là, le IARPA devra se contenter de trouver des moyens et des outils pour collecter un maximum de données, de tous types possibles (texte, vidéos, audios, stream, statistiques…), afin de pouvoir plus facilement se poser les bonnes questions.

Source : wired.com

Application google – Fonctionnalité Google Earth  : retour dans le temps

Application google – Fonctionnalité Google Earth : retour dans le temps

Google Earth dispose d’une fonctionnalité que l’on pourrait appeler « retour vers le futur« . Bon, ce n’est pas nouveau (2009) mais je viens de la redécouvrir avec délice.

En effet, grâce à un nouveau bouton dans le menu d’outils, on peut afficher des images de la zone étudiée mais prises dans le passé, selon des intervalles dépendant évidemment des données à disposition de Google.

Bon c’est très gadget, mais cela permet de voir l’évolution des villes, des zones industrielles, des routes à travers le temps, et c’est somme toute assez impressionnant si les données sont suffisantes (pour le moment privilégier les grandes villes comme Paris, New-York, Londres…).

paris sous google earth

Comment ça marche ?

Pour activer la fonction, c’est en fait assez simple, il suffit de se rendre dans la barre d’outils et de cliquer sur la petite horloge.

bouton retour dans le temps google earth

Une frise chronologique devrait alors apparaître avec toutes les données photos disponibles pour l’endroit observé, avec les dates correspondantes (batons blancs).

frise de temps google earth

Il suffit alors de faire défiler la flèche sur la frise pour faire apparaître les différentes photographies d’époques différentes. Bluffant !

Bon pour plus de clarté, et de rapidité de traitement, je vous conseille fortement d’enlever tout superflu sur la carte comme les bâtiments 3D, les lieux annotés et les photographies…

superflu google earth

 

Un cas concret : l’exemple du London Eye en photo

Prenons un exemple concret, celui de la grande Roue de Londres construite en l’an 2000, le « London Eye ».

Voici la vue en 2010 :

 

london eye en 2010

Celle de 1945 : on notera la grande roue disparue et la construction d’un autre bâtiment sur la gare de Waterloo

london eye en 1945

Impressionnant, non ?

Un autre exemple en vidéo : Las Vegas entre 1950 et 2009

Google Earth ‘Historical Imagery’ Timeline from digitalurban on Vimeo.

Vidéo par digitalurban

Porte monnaie électronique Google Wallet

Porte monnaie électronique Google Wallet

En ce moment pas une semaine ne passe sans que la firme de Mountain View ne sorte une nouvelle application ou logiciel. Après Google advisor, sur la comparaison d’assurances et d’offres bancaires, Google se lance dans le paiement électronique par smartphone avec Google Wallet.

Google étant ainsi encore plus son offre pour couvrir un peu plus les utilisations numériques de demain sur les mobiles, avec le commerce mobile.

portefeuille électronique Google Wallet

Google wallet, le porte monnaie électronique couplé à des cartes bancaires

Alors comment se présente le nouveau « joujou » de Google qui transformera n’importe quelle smartphone fonctionnant sous android en un porte feuille électronique des plus complet.

Technologie du Google Wallet

Fonctionnant sous android, le système s’appuie sur la technologie de la « communication en champ proche » (NFC).  Extension de la norme ISO/CEI 14443 standardisant les cartes utilisant la technologie RFID, la technologie NFC a pour but de permettre la communication sans fil à courte portée et à haute fréquence de périphériques combinant les fonctions de carte à puce et de lecteur, comme par exemple les téléphones mobiles.

Loin d’être inintéressante, l’appui sur la technologie RFID et la carte à puces permet de sécuriser les transactions bancaires en limitant les risques de malversations. C’est notamment cette voie qui est également privilégiée en France dans la cadre du pôle de compétitivité dédié aux transactions électroniques sécurisées, TES.

Faisant office de récepteur et d’émetteur, avec la technologie NFC, le téléphone équipé pourra ainsi effectuer des transactions bancaires, en faisant office d’intermédiaire entre la carte bancaire et la banque du possesseur, et le terminal du vendeur utilisant la même technologie.

Côté mobile, le système n’est pour l’instant accessible que sur un Google Nexus S 4G mais près son lancement effectif aux Etats-Unis, Google wallet sera compatible avec tous les derniers systèmes Android.

Les avantages du Google wallet

Les avantages du Google wallet dans le commerce mobile sont, il faut l’avouer, très nombreux:

  • la possibilité d’utiliser une vaste gamme de cartes bancaires, compatibles avec les spécificités culturelles par pays en terme de transactions : carte bancaire mastercard, cartes prépayées, virement effectif…
  • la possibilité de « numériser » vos cartes bancaires tout en conservant la sécurité des transactions, car s’appuyant sur « l’approche carte à puce » avec demande d’autorisation à la banque en direct. Sans oublier une sécurité par mot de passe et une possibilité de désactivation à distance en cas de perte ou de vol.
  • la possibilité de concentrer sur le même périphérique toutes vos cartes de fidélités et vos bons de réductions, avec calcul automatique des ristournes et des points de fidélités. Même sur les cartes « miles » des compagnies aériennes.
  • le couplage avec le système d’achat groupé de Google, Offers.
  • A terme, le système inclura également la possibilité de stocker tous vos billets électroniques, d’avions ou de concerts par exemple.

avantages de google wallet

La clé du succès : le point sur les partenariats

Nécessitant un partenariat avec les commerçants, les gestionnaire de cartes bancaires (Visa, Mastercard, American express…) et les fabricants de terminaux bancaires (pour l’équipement des terminaux en technologie compatible NFC), la partie n’est pas pour autant joué pour Google qui devra noué des partenariats serrés pour pénétrer les marchés à l’international.

En effet, si des accord internationaux peuvent être opéré pour les terminaux bancaires et les cartes bancaires, ce ne sera sans doute pas le cas pour les commerçants, qui devront s’équiper en terminaux compatibles onéreux.

Voici d’ailleurs une vidéo de présentation de la relation Google-commerçants:

De même, la sécurité du système devra être absolue pour vaincre les freins et les réticences encore nombreux des consommateurs à l’endroit du commerce électronique, notamment sur les mobiles.

Mais il faut dire que quand Google frappe, il frappe fort, « as usual ». Et c’est déjà le cas avec cette nouvelle application.Car l’état des partenariats déjà mis en place par le groupe pour Google Wallet est déjà fort intéressant :

  • pour les banques et opérateurs de cartes bancaires : groupe Citi (Citigroup, Citibank…), Mastercard
  • pour les terminaux de paiement : First Data et le français Ingenico (qui a déjà vu son cours en bourse grimpé de 6% après l’annonce de ce partenariat, et qui est partenaire en France du pôle de compétitivité TES), ainsi que Verifone.
  • pour les téléphones, le constructeur évidemment du Google Nexus S, Sprint.
  • et en interne, évidemment, avec le couplage du système avec Google offers, l’application d’achat groupé lancé récemment égalment par Mountain View pour concurrencer Groupon

Google part ainsi avec un avantage certain, du fait de ces solides partenaires, car il propose ainsi une solution intégrée proposant une large gamme de services, depuis le paiement électronique en passant par la publicité, les coupons et bons de réduction…

Un coup dur pour la concurrence ?

Par contre, si tout se passe bien pour Google, cela permettra au groupe de Mountain View de porter un sérieux coup d’estoc à nombres d’acteurs numériques:

  • que ce soit Groupon, qui a refusé une offre de rachat de Google, en favorisant le développement de son concurrent direct, Google Offers.
  • Apple via Apple store et Itunes (Google wallet sera-t-il transposable à l’Iphone ?),
  • Paypal, qui accuse déjà Google de plagiat (il faut dire que le projet Google Wallet a été pilotée par Stéphanie Tilenius, ancienne employée de Paypal…),
  • et même Facebook dans une moindre mesure.

Et pour Google de reprendre/garder la main sur l’utilisation de ses services tant dans la recherche d’informations que dans l’utilisation au quotidien.

Une application encore en phase de test

Bon, il ne faut pas non plus s’attendre à un déferlement imminent du portefeuille numérique dans nos contrées car l’application de Google est encore en phase de test, certes opérationnel, mais en test tout de même.

Ainsi, depuis le 01/06/2011, l’application sera disponible et utilisable à Portland (Oregon), en avant-première avant son lancement à New-York cet été.

Source : http://googleblog.blogspot.com/2011/05/coming-soon-make-your-phone-your-wallet.html