Exécution simultanée de plusieurs threads scp:
Contexte:
Je me retrouve souvent à mettre en miroir un ensemble de fichiers de serveur, et dans ces fichiers de serveur se trouvent des milliers de petits fichiers de 1 Ko à 3 Ko. Tous les serveurs sont connectés à des ports 1 Gbit / s, généralement répartis dans une variété de centres de données.
Problème:
SCP transfère ces petits fichiers, UN par UN, et cela prend des siècles, et j'ai l'impression de gaspiller les belles ressources réseau dont je dispose.
Solution?:
J'avais une idée; Créer un script, qui divise les fichiers en quantités égales, et démarre 5-6 threads scp, ce qui théoriquement se ferait alors 5-6 fois plus vite, non? Mais je n'ai aucune expérience de script Linux!
Des questions):
- Existe-t-il une meilleure solution au problème mentionné?
- Y a-t-il déjà quelque chose comme ça qui existe?
- Sinon, y a-t-il quelqu'un qui pourrait me donner un coup de pouce ou m'aider?
- Sinon à 2 ou 3, où serait un bon endroit pour commencer à chercher à apprendre les scripts Linux? Comme bash, ou autre.