Désindexer en masse des URL avec iMacros & Webmaster Tools

Si vous avez identifié des répertoires complets à désindexer sur votre site ou celui d’un de vos clients, voici un petit article qui pourrait vous faire gagner beaucoup de temps.

Pour supprimer un répertoire complet de l’index de Google, par exemple lorsque vous récupérez un nouveau client et que vous nettoyez son indexation, vous pouvez vous rendre dans Google Webmaster Tools:

1. Optimisation
2. URL à supprimer
3. Cliquer sur « Nouvelle demande de suppression »
4. Entrer le nom du dossier
5. Cliquer sur Continuer
6. Choisir la dernière option dans le select (suppression d’un répertoire complet)
7. Valider

Pour un ou deux répertoires, ça va. Par contre, quand vous en avez des centaines… avouez que c’est un peu chiant. Pour aller – beaucoup – plus vite, vous pouvez utiliser iMacros.

Macro de suppression en masse d’URL dans Google Webmaster Tools

Une simple macro vous permettra de gagner beaucoup de temps. La voici :

VERSION BUILD=7500718 RECORDER=FX
SET !DATASOURCE C:\DOSSIER\VERS\LE\FICHIER\repertoires.txt
SET !DATASOURCE_COLUMNS 1
SET !TIMEOUT_STEP 0
SET !ERRORIGNORE YES
SET !EXTRACT_TEST_POPUP YES
SET !LOOP 1
TAB T=1
URL GOTO=https://www.google.com/webmasters/tools/url-removal?hl=fr&siteUrl=***URL_DU_SITE***
TAG POS=2 TYPE=DIV ATTR=TXT:Nouvelle<SP>demande<SP>de<SP>suppression
TAG POS=1 TYPE=INPUT:TEXT FORM=NAME:newremovalform ATTR=ID:urlt CONTENT={{!COL1}}
TAG POS=1 TYPE=INPUT:BUTTON FORM=ID:newremovalform ATTR=NAME:urlt.submitButton&&VALUE:Continuer
TAG POS=1 TYPE=SELECT FORM=ACTION:/webmasters/tools/removals-submit-ac?hl=fr&siteUrl=***URL_DU_SITE*** ATTR=NAME:removalmethod CONTENT=%DIRECTORY
TAG POS=1 TYPE=INPUT:SUBMIT FORM=ID:the-form ATTR=ID:submit-button

Pour que ça fonctionne, vous devez :

• Remplacer ***URL_DU_SITE*** par l’URL du site entrée dans Webmaster Tools (attention c’est à modifier à deux endroits)
• Remplacer C:\DOSSIER\VERS\LE\FICHIER\repertoires.txt par le chemin vers le fichier source. Pour ma part je le mets sur le bureau de Windows mais vous pouvez le mettre là où vous le voulez

Le fichier source ? C’est un simple fichier texte qui contient tout les répertoires à supprimer, indiqués à la ligne et avec un slash final. Ce fichier doit être encodé en UTF-8.

Exemple de fichier source :

repertoire-kipu/
dossier-pourri/
ancien-dossier/

Une fois que tout est prêt, comptez le nombre de lignes du fichier source et indiquez le nombre de ligne dans la case « Max » d’iMacros en mode loop.

Attention au blacklistage

Mais non, pas celui de votre site. Je parle de Google qui n’aime pas trop qu’une même IP le bombarde de requêtes. Si vous utilisez une connexion directe vous risquez de vous faire blacklister de Webmaster Tools de manière temporaire au bout de 500 demandes. C’est le moment de sortir vos proxy. De préférence utilisez plusieurs IP sur des proxy anonymes rapides.

Sachez également que Webmaster Tools est limité à 600 demandes de suppression d’URL par tranche 4 (?) heures.

Et c’est tout ?

Pour la suppression en elle-même, oui. Par contre, n’oubliez pas que si Google crawle encore les pages contenues dans ces répertoires c’est que celles-ci sont soit :

• liées quelque part depuis les pages de votre site
• listées en sitemap
• liées depuis l’extérieur (ce sont donc des backlinks)

Dans les deux premiers cas il convient de corriger ces anomalies. Dans le dernier, n’oubliez pas de prévoir les redirections 301 vers les bonnes pages. Il serait en effet dommage de perdre le potentiel des BL qui pointent vers ces anciennes URL.

Pour du e-commerce, je fais souvent des redirections en masse vers les univers, voire la home s’il y en a trop et que le client n’y accorde pas le temps nécessaire. Toutefois, dans le cas où certains BL sont vraiment intéressants, je n’hésite pas à faire de la redirection au cas par cas.

Et pour supprimer des URL ?

Bien entendu il n’y a qu’à modifier un peu la macros pour la suppression d’URL en masse plutôt que la suppression de répertoires. Je vous laisse le soin de bidouiller ce qu’il faut.

La note finale va à mon ami Antoine, auteur de l’outil SEO « Seo Footprints » qui m’a fait découvrir iMacros en début d’année au SEO Camp. Jusqu’à ce qu’il m’en parle je faisais toutes mes automatisations en PHP/Curl… ce qui limitait l’automatisation aux tâches à forte valeur ajoutée. Avec iMacros en quelques secondes vous pouvez automatiser de petites tâches simples comme celles-ci.

Et vous, quelles macros pratiques utilisez-vous ?

Abonnez-vous au flux flux RSS | You can leave a response, or trackback from your own site.