Comment interdire un répertoire entier avec robots.txt?

J'ai deux sites sur lesquels je travaille actuellement: un panier et un autre client. Les deux sont sous le même nom de domaine donc par exemple

http://example.com/first_url 
http://example.com/second_url 

Ces deux URL ont des tonnes de pages en dessous

http://example.com/first_url/product1
http://example.com/first_url/product2 
http://example.com/first_url/product3

http://example.com/second_url/product1
http://example.com/second_url/product2 
http://example.com/second_url/product3

Comment puis-je interdire l'URL principale /first_urlainsi /second_urlque toutes les sous-pages et sous-répertoires? Je pensais à quelque chose comme ça, mais je ne sais pas si cela fonctionne ou non et si c'était la bonne syntaxe

Disallow: /first_url/*/
Disallow: /second_url/*/

Vous n'avez pas besoin de la barre oblique de fin pour bloquer ces répertoires. Cela fonctionnera:

Disallow: /first_url/*
Disallow: /second_url/*

Cette page d'aide de Google couvre assez bien cela.

Vous pouvez utiliser ceci par défaut robots.txt:

User-agent: *
Disallow: first_url/*
Disallow: second_url/*

L'étoile permettra de rejeter tout ce qui appartient à cette catégorie. Vous pouvez même interdire une chose spécifique dans cette catégorie en tapant cette URL spécifique.