Moyens d'accélérer les scripts Python s'exécutant en tant qu'outils ArcGIS [fermé]

C'est une question assez générale. Je me demande simplement quels trucs et astuces les programmeurs SIG ont utilisés pour accélérer les scripts arcpy que vous importez dans la boîte à outils et exécutez.

La plupart du temps, j'écris de petits scripts pour aider les utilisateurs non SIG de mon bureau à traiter les données SIG. J'ai constaté que le traitement ArcGIS 10.0 en général est plus lent que 9.3.1 et parfois il devient encore plus lent lors de l'exécution d'un script python.

Je vais énumérer un exemple particulier d'un script qui prend plus de 24 heures pour s'exécuter. Il s'agit d'une boucle qui tabule la zone d'un raster dans un tampon pour chaque forme du tampon. Le tampon a environ 7 000 formes. Je ne pense pas que cela devrait durer aussi longtemps. UNE

while x <= layerRecords:

    arcpy.SetProgressorLabel("Tabulating Row: " + str(x) + " of " + str(ELClayerRecords))
    arcpy.SelectLayerByAttribute_management(Buff,"NEW_SELECTION", "Recno = " + str(x))                                  # Selecting the record
    TabulateArea(Buff, "Recno", MatGRID, "VALUE", ScratchWS + "/tab" + str(z) +".dbf", nMatGRIDc)                          # Tabulate the area of the single row

    arcpy.AddMessage ("          - Row: " + str(x) + " completed")
    x = x + 1
    z = z + 1

Avant que quelqu'un ne le dise, j'ai exécuté une zone de tabulation sur tout le tampon, mais cela produit des erreurs s'il est exécuté sur plus d'un enregistrement. C'est un outil imparfait, mais je dois l'utiliser.

Quoi qu'il en soit, si quelqu'un a des idées sur la façon d'optimiser ou d'accélérer ce script, ce serait très apprécié. Sinon, di vous avez des astuces pour accélérer python, lorsqu'il est utilisé dans ArcGIS?

Voici quelques suggestions potentielles pour accélérer votre processus:

1. Sélectionner la couche par attribut peut être dans un script Python uniquement, sans jamais lancer ArcGIS Desktop. Vous devez convertir votre référence "buff" d'une référence basée sur un fichier en une référence "ArcGIS layer", sur laquelle ArcGIS peut traiter les requêtes de sélection. Utilisez arcpy.MakeFeatureLayer_management ("buff", "buff_lyr") au-dessus de votre boucle "while", puis modifiez vos références sous la boucle while pour utiliser "buff_lyr".

2. Traitez autant d'opérations GP que possible en utilisant l' espace de travail in_memory ... Utilisez arcpy.CopyFeatures_management (shapefile, "in_memory \ memFeatureClass") pour déplacer votre source en mémoire. Cela ne fonctionne bien que si vous avez suffisamment de RAM pour lire toutes les classes d'entités dont vous avez besoin en mémoire. Attention, cependant, certaines opérations GP ne peuvent pas s'exécuter à l'aide de l'espace de travail in_memory (par exemple: l'outil Projet).

Dans l'article d'aide en ligne d'ArcGIS 9.3 « Données intermédiaires et espace de travail temporaire » (notez que cette langue a été supprimée de l'aide 10.0 et 10.1):

REMARQUE: seules les tables et les classes d'entités (points, lignes, polygones) peuvent être écrites dans l'espace de travail in_memory. L'espace de travail in_memory ne prend pas en charge les éléments de géodatabase étendus tels que les sous-types, les domaines, les représentations, les topologies, les réseaux géométriques et les jeux de données réseau. Seules des fonctionnalités et des tableaux simples peuvent être écrits.

Dans l'article d'aide en ligne d'ArcGIS 10.1 « Utilisation de l'espace de travail en mémoire »:

Les considérations suivantes doivent être prises en compte pour écrire la sortie dans l'espace de travail en mémoire:

• Les données écrites dans l'espace de travail en mémoire sont temporaires et seront supprimées à la fermeture de l'application.
• Les tables, les classes d'entités et les rasters peuvent être écrits dans l'espace de travail en mémoire.
• L'espace de travail en mémoire ne prend pas en charge les éléments de géodatabase étendus tels que les sous-types, les domaines, les représentations, les topologies, les réseaux géométriques et les jeux de données réseau.
• Les jeux de données d'entités ou les dossiers ne peuvent pas être créés dans l'espace de travail en mémoire.

Les techniques générales d'optimisation de python peuvent vous faire gagner beaucoup de temps.

Une très bonne technique pour savoir où se trouvent les blocages dans votre script consiste à utiliser le module cProfile intégré:

from cProfile import run
run("code") # replace code with your code or function

Les tests à l'aide d'un petit échantillon de données vous permettront d'identifier les appels de fonction qui prennent le plus de temps.

Pointeurs généraux pour un code python plus rapide:

• La compréhension des listes est généralement plus rapide que la boucle
• Les générateurs produisent un élément à la fois au lieu de produire la liste entière à la fois
• Utilisez xrange au lieu de range en python 2 (pas nécessaire en 3)
• Les ensembles peuvent sortir des listes de préformes lorsqu'il s'agit de déterminer si un élément est présent dans l'ensemble mais sont généralement plus lents que les listes lorsqu'il s'agit d'itérer sur leur contenu Source
• Les appels de fonction peuvent être coûteux pour les performances Source
• Plus de conseils et de détails, consultez ici Conseils de performance Python et ici 10 Conseils et problèmes d'optimisation Python

En ce qui concerne votre script, je ne peux pas commenter les aspects ArcPy car je n'ai pas Arc installé sur cet ordinateur, mais vous voudrez peut-être essayer d'utiliser une boucle for au lieu d'une boucle while pour voir si cela améliore quelque chose. De même, x = x + 1 peut s'écrire x + = 1:

for record in layerRecords:
arcpy.SetProgressorLabel("Tabulating Row: " + str(x) + " of " + str(ELClayerRecords))
arcpy.SelectLayerByAttribute_management(Buff,"NEW_SELECTION", "Recno = " + str(x))                                  # Selecting the record
TabulateArea(Buff, "Recno", MatGRID, "VALUE", ScratchWS + "/tab" + str(z) +".dbf", nMatGRIDc)                          # Tabulate the area of the single row

arcpy.AddMessage ("          - Row: " + str(x) + " completed")
x+=1
y+=1

Assurez-vous que vous écrivez sur le disque interne de l'ordinateur. Atteindre le réseau lorsque cela n'est pas nécessaire peut vraiment ralentir le traitement. Il peut même être plus rapide de copier les données comme première étape du processus pour que les lectures-écritures suivantes soient aussi rapides que possible.

L'exécution du script complètement en dehors d'ArcMap peut être beaucoup plus rapide. Si une carte n'est pas requise pendant le traitement, n'utilisez pas ArcMap.

Cela ne répond peut-être pas à votre question concernant l'exécution des outils ArcPy dans ArcMap, mais lorsque j'ai besoin d'effectuer un traitement charnu avec des outils de géotraitement et Python, j'ai tendance à l'exécuter en dehors du système SIG à l'aide de l'IDE PyScripter . J'ai trouvé qu'il fonctionne plus rapidement. J'ai également utilisé un RAMDISK pour les petits jeux de données de sortie temporaires (un peu comme l' espace de travail in_memory )

Eh bien, ce sont mes meilleurs conseils! :)

Essayez de commenter arcpy.SetProgressorLabel et voyez combien vous accélérez. J'ai trouvé que toute sortie d'écran, en revenant à DOS Daze, ralentit considérablement les temps de traitement. Si vous avez vraiment besoin de voir cette sortie, essayez de l'afficher à chaque Nième boucle.

Assurez-vous de supprimer toutes les import xxxxlignes qui ne sont pas utilisées.

(c.-à-d. si vous n'utilisez pas encore de fonctions mathématiques, vous en import Mathaurez pour le chargement du script)

Bien que cela n'ait pas un grand impact sur les scripts uniques qui s'exécutent (comme le vôtre), cela affectera tous les scripts qui s'exécutent fréquemment et de manière répétitive.