Comment résoudre un compactage majeur coincé dans Apache Cassandra?


14

J'ai un cluster Cassandra à un nœud qui est actuellement bloqué dans un processus de compactage majeur. Après avoir exécuté un, nodetool compactil a commencé le compactage et je vois les fichiers tmp-sstable avec une taille de 0 octet. Mais c'est tout. Aucun progrès pendant des heures.

J'ai déjà arrêté le service Cassandra, mais après un redémarrage, il a continué à nouveau le compactage sans progrès. A nodetool compactionstatsindique une progression de 0,00% et un temps restant de six minutes. Mais j'ai déjà attendu 24 heures. En attendant, j'ai arrêté tous les lecteurs et écrivains sans voir de différence.

La version que j'utilise est 2.1.2. J'ai déjà essayé avec OpenJDK 7 et avec Java 7 d'Oracle, mais aucune différence.

Les journaux ne montrent aucune indication de MOO ou toute autre exception ou avertissement.

Je ne sais pas si cela peut être utile, mais je migre actuellement loin de Cassandra car cela ne correspond pas à mes besoins. Je supprime donc beaucoup de données qui ont été migrées. Il existe de nombreuses lignes de plusieurs centaines à quelques milliers de colonnes. Mais il y a quelques lignes avec un million de colonnes. Ils contiennent maintenant beaucoup de pierres tombales en raison du processus de migration (suppression).

Toute aide sur la façon de déboguer le problème est la bienvenue.


juste une idée, avez-vous regardé / var / log / syslog ou où serait enregistré quelque chose comme de nombreux fichiers ouverts / VM maxmem?
Antony Gibbs

@AntonyGibbs Rien de tel. Il s'agit d'un serveur physique surpuissant. D'autres services fonctionnent bien à côté de Cassandra.
mailq

1
Avez-vous vérifié si le processus est lié au processeur, aux E / S ou bloqué en attendant autre chose?
kasperd

1
quels sont les paramètres de la machine virtuelle java lancée? pourrait être un serveur puissant, si l'instance java est limitée à 128 Mo, elle n'en obtiendra pas plus. Le son de rien dans les journaux me fait penser aux limites de la mémoire ...
Antony Gibbs

1
la sortie d' ulimit -aune console utilisateur Cassandra peut être pratique.
Antony Gibbs

Réponses:


1

Je ne suis pas un expert de Cassandra , mais avez-vous essayé de stopper le compactage de nodetool et de définir un seuil de compactage (setcompactionthreshold à 0), afin que le système ne le réessaye pas


nodetool stop - COMPACTION Cela n'a pas aidé. Les travaux sont toujours en cours.
Jigar Shah

@JigarShah Même question que l'OP? vous devriez peut-être poser une nouvelle question pour attirer une nouvelle réponse. Comme peut-être ma solution ne vous aide pas, mais a aidé l'OP
yagmoth555
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.