La programmation distributed-computing

5

J'essaie de comprendre ZooKeeper, comment cela fonctionne et ce qu'il fait. Existe-t-il une application comparable à ZooKeeper? Si vous le savez, comment décririez-vous ZooKeeper à un profane? J'ai essayé apache wiki, zookeeper sourceforge ... mais je ne suis toujours pas en mesure de m'identifier à lui. Je viens de lire …

376 apache-zookeeper distributed-computing

13

Spark - répartition () vs coalesce ()

Selon Learning Spark Gardez à l'esprit que la répartition de vos données est une opération assez coûteuse. Spark a également une version optimisée de repartition()appelée coalesce()qui permet d'éviter le mouvement des données, mais uniquement si vous diminuez le nombre de partitions RDD. Une différence que j'obtiens est qu'avec repartition()le nombre …

254 apache-spark distributed-computing rdd

2

Que sont les travailleurs, les exécuteurs, les cœurs du cluster Spark Standalone?

J'ai lu Présentation du mode cluster et je ne comprends toujours pas les différents processus dans le cluster Spark Standalone et le parallélisme. Le travailleur est-il un processus JVM ou non? J'ai couru le bin\start-slave.shet j'ai découvert qu'il engendrait le travailleur, qui est en fait une machine virtuelle Java. Selon …

219 apache-spark distributed-computing

5

Quelle est la différence entre cache et persist?

En termes de RDDpersistance, quelles sont les différences entre cache()et persist()en étincelle?

202 apache-spark distributed-computing rdd

3

Qu'est-ce qui détermine la compensation des consommateurs Kafka?

Je suis relativement nouveau à Kafka. J'ai fait un peu d'expérimentation avec cela, mais certaines choses ne sont pas claires pour moi concernant la compensation des consommateurs. D'après ce que j'ai compris jusqu'à présent, lorsqu'un consommateur démarre, le décalage à partir duquel il commencera à lire est déterminé par le …

170 java distributed-computing apache-kafka

25

Calculez la médiane d'un milliard de nombres

Si vous avez un milliard de nombres et cent ordinateurs, quelle est la meilleure façon de localiser la médiane de ces nombres? Une solution que j'ai est: Répartissez l'ensemble de manière égale entre les ordinateurs. Triez-les. Trouvez les médianes pour chaque ensemble. Triez les ensembles sur les médianes. Fusionner deux …

127 algorithm distributed-computing

Questions marquées «distributed-computing»