Modèles statistiques pour la mémoire / le calcul locaux, la latence du réseau et la gigue de la bande passante dans HPC

Le calcul parallèle est fréquemment modélisé à l'aide d'un taux de calcul local déterministe, d'une surcharge de latence et d'une bande passante réseau. En réalité, ceux-ci sont spatialement variables et non déterministes. Des études telles que Skinner et Kramer (2005) observent des distributions multimodales, mais l'analyse des performances semble toujours utiliser des distributions déterministes ou gaussiennes (pas seulement inexactes, elles sont incohérentes en raison de la probabilité positive de latence négative).

Des modèles statistiques de haute fidélité ont-ils été développés? Existe-t-il une corrélation croisée dans le calcul local / la mémoire, la latence et la variabilité de la bande passante?

Du point de vue informatique, je ne pense pas qu'il soit logique de faire un modèle statistique général pour le temps d'accès à la mémoire (latence) et la bande passante mémoire.

Il est logique de créer un modèle statistique pour un algorithme . En effet, chaque algorithme a un modèle d'accès à la mémoire spécifique, les modèles d'accès à la mémoire sont pertinents pour la hiérarchie du cache, par exemple, un algorithme avec une localisation de données élevée bénéficiera de caches de bas niveau bénéficiant de temps d'accès à la mémoire très rapides tandis que d'autres algorithmes devront aller jusqu'à la RAM (ou pire encore la mémoire d'échange) et avoir des temps d'accès extrêmement lents.

Les valeurs générales sont données du point de vue de l'architecture, vous pouvez vérifier votre architecture et rechercher le temps d'accès d'un noyau donné à un emplacement de mémoire donné (disons le cache L3). Sachez que les architectures récentes sont NUMA, Uniform Memory Access, ce qui rendra votre travail un peu plus difficile.