Vous serez notamment intéressés par cet article si votre site a été pénalisé et que vous cherchez à comprendre le rôle des Quality Raters. Ou aussi si vous avez effectué une demande de réexamen et que celle-ci n’a pas fonctionné, que vous avez en vain parcouru les Consignes de qualité pour les webmasters…Google chérit les sites dits naturels pour que son moteur reste bien évalué, utilisé et donc rentable
via Adwords😀
Disclaimer : Finalement, quand il y a matière à poster c’est agréable de partager de l’info avec vous. Cependant, je tiens à préciser, je n’ai pas vérifié à fond mes sources, je compte donc sur votre esprit critique. Après, ce que j’en ai retiré m’a paru suffisamment cohérent pour que je vous en parle quand même.
Nombre de référenceurs tremblent (ou pas) devant l’éventualité qu’un Quality Rater vienne dézinguer leurs sites… Mais dézinguer comment au juste ? Déclasser de quelques positions ? Marquer comme indésirable ? Blacklister ? Ils ont donc le pouvoir de positionner ou déclasser les sites sur Google ? C’est ce que nous allons tenter de voir grâce à un article récent de Jennifer sur son blog Pot Pie Girl qui nous en dit davantage sur, d’une part, qui sont les Quality Raters et, d’autre part, sur ce qu’ils sont capables de faire dans les SERPs. Morceaux choisis.
Qui sont les Quality Raters ?
Search Quality Raters.
Le terme Search Quality Raters désigne ceux qui scrutent les résultats organiques de Google. Il y en a pour traiter de nombreuses langues . Il y en a aussi pour d’autres types de services mais attardons-nous surtout sur l’aspect SEO 😉
Les Quality Raters existent depuis au moins 8 ans ! (ce n’est donc pas nouveau et le modèle s’améliore certainement au-fur-et-à-mesure)
Google outsources this job to outside companies and those outside companies hire independent contractors to do the work.
Le géant de Mountain View fait donc appel à des prestataires/partenaires externes qui eux-mêmes peuvent faire appel à des indépendants.
Les entreprises, en partenariat avec Google, qui embauchent les Search Quality Raters sont notamment :
- Lionbridge,
- Leapforce,
- Butler Hill
Le poste est désigné par le terme : internet assessor ou Search Engine Evaluator. Et bien sûr ce type de poste est déjà bien convoité 😀
A Lionbridge, ils recrutent encore pour la France 😀
Exemple de poste :
Lionbridge Rater Program is an opportunity for all types of people to earn money and assist in achieving the main objective of the program: the continuous improvement and quality of internet search capability. To achieve this, we have a search relevance program management team based at our European solution center in Ballina, Ireland who manage a Global Rater Team of over 4,500 people.
On apprend là que l’équipe des Quality Raters est globalement constituée de 4 500 personnes dirigées depuis l’Irlande.
The Rater role involves evaluating results of a web search, for appropriateness to search query input. Participants will be required to provide their opinion of the result displayed based on a set of guidelines we provide. (…)
Interested candidates must first successfully complete an exam before being accepted into the Rating Program.
Environ 160 questions théoriques et pratiques sont posées aux candidats. Leur performance est mesurée par le nombre d’URL qu’ils traitent par heure. Un mot clé + URL à contrôler leur sont fournis. Le minimum semble être de 30 URL à vérifier par heure. A priori ça paie bien mais on ne peut pas cumuler ce travail plus d’une année sans faire une pause de 3 mois d’intervalle minimum.
Chez Leapforce, il y a même des postes de QR a priori pour Google Maps ? :
Using your familiarity of your local geographic region, along with your keen analytical research skills, as a Map Quality Analyst you will help improve and evaluate internet-based mapping data. You will analyze and annotate text and graphical routing instructions, providing suggestions for improved routes where appropriate. You will possess a strong record of evaluating visual data. Your feedback and analysis will help improve a product that delivers information to millions of users.
Un autre poste de Quality Rater pour la Belgique est encore disponible chez Leapforce :
This is an opportunity to evaluate and improve search engine results for one of the world’s largest internet search engine companies.
Search Engine Evaluators will need to combine a passion for analysis with an understanding of various online research tools. Applicants must be detail oriented and have a broad range of interests.
Ideal Search Engine Evaluators will possess the following skills
- Have in-depth, up-to-date familiarity with Belgian social culture, media, and web culture
- Excellent comprehension and written communication skills in French and English
- Broad range of interests, with specific areas of expertise a plus
- University degree or equivalent experience (degrees in-progress are acceptable). Advanced degrees a plus
- Excellent web research skills and analytical abilities.
- Ability to work independently
- Possess a high speed internet connection (DSL, Cable Modem, etc.)
Search Engine Evaluators provide feedback on search engine results by measuring the relevance and usefulness of web pages in correlation to predefined queries, by providing comparative analysis of sets of search engine results and various other techniques.
Et c’est là qu’on peut aussi se rendre compte que les QR se diversifient… On trouve aussi des « Social Search Engine Evaluator » pour les US. dont les compétences sont sensiblement les mêmes que celle du QR belge à part quelques notions sociales (haut niveau sur Twitter, Gmail, Google products) :
Social Search Engine Evaluators will need to combine a passion for analysis with an understanding of various online research tools. Applicants must be detail oriented and have a broad range of interests.
Ideal Social Search Engine Evaluators will possess the following skills
- Have in-depth, up-to-date familiarity with American social culture, media, and web culture
- An avid user of Twitter with a high level of proficiency
- Avid Gmail user with a Google profile
- Experience with other Google products is preferred
- Excellent comprehension and written communication skills in English
- Broad range of interests, with specific areas of expertise a plus
- University degree or equivalent experience (degrees in-progress are acceptable). Advanced degrees a plus
- Excellent web research skills and analytical abilities.
- Ability to work independently under minimal supervision
- Possess a high speed internet connection (DSL, Cable Modem, etc.)
Le poste de Quality Rater en France par Buttler Hill
Le rôle du Search Quality Rater
Les QR comme on peut les appeler, décident si le mot clé est pertinent par rapport à ce qu’un internaute qui recherche une info voudrait savoir, faire ou aller voir. Sinon ils peuvent marquer l’URL comme indésirable ou peuvent faire des commentaires à propos de cette URL.
Important to mention: A Rater is allowed to rate a url as BOTH spam AND as being relevant.
Important Take-Away: Since these raters are typically “normal” users of Google, first impressions of your url count BIG TIME.
Attention alors à la première impression que donne l’URL puis la page…
Les Quality Rater ont aussi la possibilité de voir avant et après l’application d’un algo Google et de déterminer si le résultat est toujours pertinent après l’avoir vérifié.
Le Google’s Engineering Director, Scott Huffman affirme qu’un Quality Rater ne pourra pas affecter directement vos positions dans les résultats de recherche. Rien ne nous empêche de penser qu’il y a une corrélation forte entre le travail du Quality Rater et ce qui arrive finalement à l’URL, une sorte de « flag » dans le système qui permettrait d’identifier particulièrement certaines URLs. En cela, je suis totalement d’accord avec Jennifer.
Ce qui devient plus ennuyeux c’est la performance qui est demandée aux Quality Raters qui vont donc devoir regarder très rapidement votre page pour un mot clé donné. En effet pour 30 url par heure ca fait 2 minutes par URL… Si pour obtenir une notation de 3 étoiles le Quality Rater est obligé de passer à 50-60 URL/heure, il n’a plus que une minute à passer sur votre URL et encore au pas de course ! Alors imaginez ce que cela peut donner avec des pages plus denses… longue à charger etc. 😀 (oui je pose des smileys partout, je suis censée en interpeller certains !). D’autre part, seule la 1ère impression semble compter et suffire à leurs employeurs. C’est certainement déjà un bon moyen d’élaguer !
Que savent-ils faire ? Sur quoi sont-il testés ?
D’après la fiche de poste de Lionbridge, ils ne sont pas censés être des férus de nouvelles technologies, mais surtout savoir surfer sur l’Internet et être capable de lire et rédiger parfaitement en anglais et une bonne connexion…
- Reading and writing in English is a mandatory requirement for program participation
- Proof of English competency in some locales will be requested, e.g. English Certificate
- For cultural and historical awareness purposes, you must be resident in the country for 5 consecutive years
- You should be familiar with using both Internet browsers and content, and have access to a computer with a high-speed internet connection
- You need to be motivated to apply your knowledge in a way that improves the browsing experience on the Web
- You must be a mature person capable of managing your time to spend 10-20 hours per week in rating various online services and software
- You can be a college student, teacher, retired person, on-line shopper, stay-at-home parent or professional from any field
Ils doivent regarder ceux qui se positionnent pour une requête donnée mais ne peuvent pas le faire pour chaque requête effectuée après un espace (recherche en temps réel) car ce n’est tout simplement pas humainement faisable.
15% or more of searches each and every month are NEW phrases that have never been searched for before.
D’autre part, la simple façon dont l’algo classe les résultats peut provoquer de tels changements dans la réaction des Quality Raters que cela peut affecter plein d’URL y compris celles de eeux qui ne sont pas vérifiées par un Quality Rater…
Les bonnes pratiques pour passer l’épreuve du Quality Rater
Jennifer donne une liste d’éléments à garder en tête pour ne pas se faire « remarquer » par un Google Quality Rater :
1. Accept what you cannot change
2. Be proactive
3. Check Your Snippets
4. Evaluate Intent and Be Relevant
- Il n’y a pas grand chose à faire contre des humains. Ils ne sont pas des webmasters car Google référence des pages pour le grand public !
- Etre sûr que son site donne une bonne impression et ne pas le regarder comme un marketer… mais comme un consommateur. Le concept de naturel est toujours présent !
- Vérifiez vos snippets sur les mots clés que vous ciblez : indique-t-il au visiteur que vous ciblez que c’est bien cette page qui correspond ? Est-ce réellement le cas ?
- Mettez-vous à la place de celui qui effectue une recherche sur le mot clé que vous visez et demandez-vous ce que vous vous attendriez à y trouver. Votre page est-elle pertinente en ce sens ?
Jennifer termine en nous rappelant que c’est souvent un job à mi-temps pour des personnes qui souhaitent arrondir leurs fins de mois en travaillant de la maison. Ils se moquent donc un peu de ce qu’il adviendra aux pages qu’ils traitent. Ils font juste leur boulot avec une part d’incertitude.
Jennifer a aussi fait un post très complet sur Comment Google réalise des mises à jour avec une vidéo précise et concise l’illustrant (que vous pouvez retrouver en top vidéo sur la droite au moment où j’écris ces lignes).
Tu n’écris pas souvent … mais quand tu t’y mets c’est du HQ 🙂
J’ai lu la mêmes articles, et le guide des quality raters. Ce qui me chagrine c’est quand on met en parallèle les annonces de recrutement et les consignes de vérification données dans le guide … je ne vois pas où ils peuvent vérifier la qualité d’un site.
Spam ou pas spam : ok
Trop de pub ou pas : ok
adulte ou pas : ok
…
Site pertinent sur la requête : pas ok
Si c’est un sujet que le QR maîtrise oui, un sujet qu’il ne connait pas, il n’ a pas le temps de valider la pertinence des infos.
La qualité d’un site est donc très « légère » …
En faisant un site qui respecte les 4 points que Jenny met en avant, on a de grandes chances de rester sous les radars.
Au regard des taches demandées, et de la vitesse de notation, on pourrait parler d’Industrial Rater !
Très intéressante lecture du samedi matin. Perso j’ajouterai que le temps de chargement peut compter en votre défaveur.
Imaginez la réaction d’un QR noté au rendement qui tombe sur une page qui met 5 secondes à charger.
Il en va de même pour le design je pense. Un site avec plein de bug d’affichage peut se voir dévaloriser par un QR je pense.
Après est ce que cela compte vraiment beaucoup … C’est un levier comme un autre.
Bonjour,
C’est assez impressionnant d’un coté et limite flippant d’un autre.
Impressionnant dans le sens où l’évaluation ne repose pas sur un ou des « super raters » estampillés Montain View mais bien sur un échantillon plus large de la population.
Flippant, car bien évidemment on se dit que l’erreur est humaine surtout quand il s’agit d’évaluer aussi rapidement la pertinence des SERPs.
En conclusion, pour ma part cela démontre encore une fois que Google est dans l’impossibilité d’évaluer la pertinence par l’IA (robot, algo, etc …) et que le facteur humain a encore de beaux jours devant lui ! 😉
Il ne faut pas en avoir peur, ce sont des bots-humains qui font office de garde fou pour algo.
Pour avoir discuter avec un de ces « employés » de Google et pour avoir lu le fameux document présentant les missions des QR qui a fuité dernièrement, je ne peux qu’aller dans ton sens. L’algo et la team anti-spam sont bien plus dangereux pour nous. 😉
Merci pour cet article très intéressant, je connaissait pas du tout la notion de quality rater. Ce n’est pas une mauvaise solution, d’autant que cela ne pénalise pas forcément le BH, mais plutôt le BH pour ceux qui présente un site de merde. Donc au final c’ets plutôt pas mal.
Resterait à en savoir plus sur la grille de lecture de ces quality rater…. dans le détail ^^
Vraiment intéressant ton article, cela dit, saurons nous un jour si google prends vraiment en compte les infos qu’il récupère de ces QR ? Je pense que ca restera énigmatique, seul les QR (externes a google) ont le pouvoir de le déterminer.
Vu le temps qu’ils ont pour vérifier les pages, j’espère que leur pouvoir n’est pas énorme (ex: blacklistage) car un site avec un texte mal mit en page mais intéressant peut être du coup placé loin derrière un spin de grammaticalement correct sur un site propre.
Je fais partie des raters et je peux vous dire qu’on est jamais un seul à tester la même page (on note des pages, pas les sites) et que s’il y a de grosses différences entre 2 notes, un « modérateur » intervient et demande aux intéressés de s’expliquer.
Ils vérifient aussi la qualité de nos notes, et si on met n’importe quoi, on se fait virer dans le mois en gros.
Et si on considère qu’on n’a pas les compétences nécessaires pour un site particulier (trop technique par exemple), on doit le dire et « relâcher » la tâche (la laisser à quelqu’un d’autre).
On ne doit jamais noter si on ne sait pas.
Je rejoins ce qui a était dis précédement, vu la vitesse a laquelle la tache doit être faite cela ressemble plus à du quantitatif qu’à du qualitatif. De là on peut en déduire que l’impacte des QR est minime, mais est utile pour dégrossir ce que ne peut faire un algorithme seul ?
Bonsoir,
Je suis moi même rater. Je tiens à confirmer la parole de Jojo.
Plus un détail, les raters se doivent d’avoir une certaine habitude d’internet ( je suis pour ma part dans l’informatique). Ce qui est certain c’est que on a l’habitude (en tant que simple utilisateur) d’avoir des pages inutiles, blindées de pubs ou qui répondent superficiellement à un sujet. Nous sommes soumis à des clauses très particulières de précision et de rapidité. Quand vous surfez sur le web vous voyez très rapidement si un site convient à ce que vous cherchez ou non. Nous aussi. Si un webmaster (j’en suis un personnellement) fais son boulot qu’il respecte les règles sa page ne sera pas dégradée et au final nous lui rendront service en virant toutes les pages inutiles placées avant la sienne. A savoir que la note est le résultat du travail d’une équipe bien triée, très rapidement expérimentée, nos notations sont objectives.
Hello, j’étais passée à coté de ton billet ! Je ne suis pas une ancienne Google mais je connais néanmoins très bien la problématique, et un jugement de QR seul ne peut pas impacter le classement d’un site, ça n’est pas aussi simple et direct (ce serait d’ailleurs hyper dangereux). Quant à la façon de juger les pages…elle est certes quelque peu industrielle, mais avec de la pratique il est très simple de juger de la qualité d’une page par rapport à une requête donnée en quelques secondes. Les éléments considérés pour le jugement sont hyper basiques, quand même.
Bonjour,
Vos chiffres sont faux: ce ne sont pas 30 URL, mais plus de 40 (43 exactement) qui doivent être visitées par heure. Donc je peux effectivement confirmer au webmaster qui s’en inquiétait plus haut que oui, une page lourde qui met de longues secondes à s’afficher sera pénaliser.
Vraiment intéressant cet article ! Je ne connaissais pas du tout le rôle du Quality Raters. Cela fait plaisir de voir que ce sont vraiment des humains qui font ce métier.
Antoon
Article très complet, je ne savais pas que ce genre de postes était accessible en France. Par contre deux minutes pour checker un site, je vois pas trop ce qu’ils peuvent faire de bien poussé. Peut-être juste un petit CTRL A pour voir si y’a pas du texte caché^^
Merci pour cet article complet et vraiment intéressant sur le rôle de quality raters travaillant pour Google, par contre je suis d’accord avec @antoine, 2 minutes c’est vraiment très peu pour avoir un avis sur un site !
Vraiment intéressant ton article, cela dit, saurons nous un jour si google prends vraiment en compte les infos qu’il récupère de ces QR ‘ Je pense que ca restera énigmatique, seul les QR (externes a google) ont le pouvoir de le déterminer.