Comment scraper les « Autres questions posées » sur Google ? 11


Madeline
Sur twitter

Depuis quelques semaines, Google suggère parfois les « autres questions posées » (appelées People Also Ask en anglais, ou PAA pour les intimes) par les internautes sur le même thème que votre requête.

Si pour une raison X ou Y vous souhaitez extraire ces questions (et les réponses associées), voici une petite méthodo pour le faire.

La démonstration vidéo

Si vous ne savez pas à quoi cela peut servir, vous n’aurez pas la réponse ici.

Comment récupérer les People Also Ask sur Google ?

  1. Utiliser Chrome et installer l’extension Scraper (parfois appelée Scrap Similar ) : https://chrome.google.com/webstore/detail/scraper/mbigbapnjcgaffohmbkdlecaccepngjd
  2. Faire une recherche dans Google
  3. Cliquer sur quelques questions pour en charger d’autres
  4. Faites un clic droit sur une questions et sélectionner « Scrap Similar »
  5. Dans la requête xpath, retirer le contenu entre crochet (exemple : si vous avez cliqué sur la 1ere question, vous devriez avoir : //section/div/div[1]/div/div/div , il faut donc supprimer [1], ce qui donne : //section/div/div/div/div/div
  6. Tadaaa, vous devriez avoir les questions et les réponses
  7. Exporter le tout dans google docs (ou copier dans le presse papier)

C’est bien, mais on peut encore mieux faire.

Les avantages de Scraper sur Chrome

  • on peut scraper sans connaitre le xpath (on a juste fait clic droit, scrap similar, même si je vous ai dit de modifier un petit peu la requête)
  • l’export est super simple
  • quand on connait le xpath, on peut vraiment affiner la requête (et je vous conseille de revoir l’article sur le xpath pour avoir quelques bases)
  • on peut enregistrer les requêtes, pour pouvoir ensuite appliquer la même recette super facilement

Dans la vidéo d’exemple sur Twitter, je finis avec un tableau assez propre contenant :

  • la question,
  • la réponse,
  • le title de l’url qui donne la réponse,
  • l’url

Affiner les résultats de scrap similar

Nous allons donc modifier légèrement la requête xpath de scrap similar, pour avoir les différentes colonnes.

Dans Scrap Similar, on sélectionne le cadre général, puis on peut faire une colonne par requête. Je ne vais pas détailler le pourquoi du comment mais voici ce qu’il faut remplir manuellement dans Scraper (en faisant pause sur la vidéo, vous verrez la même chose).

Selector : //section/div/div

# Donnée Récupérée xpath
1 Question div[1]
2 Réponse div[2]/div/div/div
3 Title div[2]/div/div/div[2]/div/div/h3
4 URL affichée div[2]/div/div/div[2]/div/div/div

MAJ 2019 : Voici les nouveaux xpath

Selector : //g-accordion-expander

# Donnée Récupérée xpath
1 Question div[1]
2 Réponse div[2]/div/div/div[1]
3 Title div[2]/div/div/div[2]/div/div/div/a/h3
4 URL affichée div[2]/div/div/div[2]/div/div/div/a/@href

Une fois que vous avez fait ce paramétrage, enregistrez-le en cliquant sur « Presets… ».

La prochaine fois que vous irez sur Google et que vous voudrez récolter les questions, il suffira de faire clic droit, scrap similar, et Presets et sélectionner votre modèle.

Et voilà le travail.

Sur ce, passez de bonnes fêtes de fin d’année !


Laissez un commentaire

Votre adresse e-mail ne sera pas publiée.

11 commentaires sur “Comment scraper les « Autres questions posées » sur Google ?

  • Yohann

    Bonjour,
    Je viens de faire la manip du haut à savoir supprimer [chiffre] mais cela me donne la question et réponse de al question où j’ai fait le clic droit mais rien de plus…
    J’ai bien le code avec /div/…
    Normal ?
    Yohann

    • Madeline Auteur de l’article

      le sélecteur est identique à l’exemple ?
      et en copiant/collant  //section/div/div/div/div/div ?
      il faut appuyer sur « scrape » pour mettre à jour l’aperçu

  • Sylvain

    Merci dame Madeline pour ce tip de fin d’année parfait.
    Il ya un truc qui me chagrine c’est qu’on ne peut pas avoir accès à ce scraper lorsqu’on est en session privée. Ce qui est bien dommage notamment quand on veut aller chercher de la data (presque) comme si on est à l’étranger par ex.
    Si jamais tu as un autre truc / tool dans tes poches pour palier ce tracas…

  • pin geoffrey

    tu gères avec tes articles franchement.

    A grande échelle on aura même plus besoin de faire des articles 🙂
    Ils seront en plus unique et répondront pour une requête donnée à une questions précisément

  • Driss

    Je connaissais pas cette technique mais c’est claire que pour du francophone ça peut être super utile.
    Pourquoi je dis du francophone? Car je connais un outil pour de l’anglophone qui permet de scrapper les People Also Ask : https://www.usetopic.com/people-also-ask

    Si vous avez des projets Anglo, testez-le !

    Merci Madeline en tout cas pour ce tips que je vais conserver 🙂

  • Mathias

    Sur une requête type « recrutement » ton xpath prend en priorité le snippet recherche d’emploi au lieu des paa.
    Je précise du coup le xpath en faisant :
    //div[contains(concat(‘ ‘, normalize-space(@class), ‘ ‘), ‘ related-question-pair’)]/g-accordion-expander

    Sinon les autres xpath sont toujours valides !