กิิิิิิิิิิิิิิิิิิิิ ก้้้้้้้้้้้้้้้้้้้้ ก็็็็็็็็็็็็็็็็็็็็ ก็็็็็็็็็็็็็็็็็็็็ กิิิิิิิิิิิิิิิิิิิิ ก้้้้้้้้้้้้้้้้้้้้ ก็็็็็็็็็็็็็็็็็็็็ กิิิิิิิิิิิิิิิิิิิิ ก้้้้้้้้้้้้้้้้้้้้ กิิิิิิิิิิิิิิิิิิิิ ก้้้้้้้้้้้้้้้้้้้้ ก็็็็็็็็็็็็็็็็็็็็ ก็็็็็็็็็็็็็็็็็็็็ กิิิิิิิิิิิิิิิิิิิิ ก้้้้้้้้้้้้้้้้้้้้ ก็็็็็็็็็็็็็็็็็็็็ กิิิิิิิิิิิิิิิิิิิิ ก้้้้้้้้้้้้้้้้้้้้

Ceux-ci sont récemment apparus dans les sections de commentaires Facebook.

Comment pouvons-nous désinfecter cela?

Que se passe-t-il avec ces caractères Unicode?

C'est un personnage avec une série de personnages combinés . Parce que les caractères de combinaison en question veulent aller au-dessus du caractère de base, ils s'empilent (littéralement). Par exemple, le cas de

ก้้้้้้้้้้้้้้้้้้้้

... c'est un ก (caractère thaï ko kai ) ( U + 0E01 ) suivi de 20 copies du caractère combinant thaïlandais mai tho ( U + 0E49 ).

Comment pouvons-nous désinfecter cela?

Vous pouvez prétraiter le texte et limiter le nombre de caractères de combinaison pouvant être appliqués à un seul personnage, mais l'effort ne vaut peut-être pas la peine. Vous auriez besoin des fiches techniques pour tous les caractères actuels afin de savoir s'ils se combinent ou quoi, et vous devez vous assurer d'en autoriser au moins quelques-uns car certaines langues sont écrites avec plusieurs signes diacritiques sur une seule base . Désormais, si vous souhaitez limiter les commentaires au jeu de caractères latins, ce serait une vérification de plage plus facile, mais bien sûr, ce n'est qu'une option si vous souhaitez limiter les commentaires à quelques langues. Plus d'informations, feuilles de code, etc. sur unicode.org .

BTW, si vous voulez savoir comment un personnage a été composé, pour une autre question, j'ai récemment codé une page "Unicode Show Me" rapide et sale sur JSBin. Il vous suffit de copier et coller le texte dans la zone de texte, et cela vous montre tous les points de code (~ caractères) dont le texte est composé, avec des liens tels que ceux ci-dessus vers la page décrivant chaque caractère. Cela ne fonctionne que pour les points de code dans la plage U + FFFF et moins, car il est écrit en JavaScript et pour gérer les caractères au-dessus de U + FFFF en JavaScript, vous devez faire plus de travail que je ne le souhaitais pour cette question (car en JavaScript, un "caractère" est toujours 16 bits, ce qui signifie que pour certaines langues, un caractère peut être divisé en deux "caractères" JavaScript distincts et je n'ai pas tenu compte de cela), mais c'est pratique pour la plupart des textes ...

Si vous avez un moteur regex avec un support Unicode décent, il est trivial de nettoyer ce type de chaînes. En Perl, par exemple, vous pouvez supprimer tout sauf la première marque de combinaison de chaque caractère (perçu par l'utilisateur) comme ceci:

#!/usr/bin/perl
use strict;
use utf8;

binmode(STDOUT, ':utf8');

my $string = "กิิ ก้้ ก็็ ก็็ กิิ ก้้ ก็็ กิิ ก้้ กิิ ก้้ ก็็ ก็็ กิิ ก้้ ก็็ กิิ ก้้";
$string =~ s/(\p{Mark})\p{Mark}+/$1/g; # Strip excess combining marks
print("$string\n");

Cela imprimera:

กิ ก้ ก็ ก็ กิ ก้ ก็ กิ ก้ กิ ก้ ก็ ก็ กิ ก้ ก็ กิ ก้

"Comment pouvons-nous désinfecter cela" est mieux répondu ci-dessus par TJ Crowder

Cependant, je pense que la désinfection est la mauvaise approche, et Cristy a raison avec overflow:hiddenl'élément contenant le css.

Du moins, c'est comme ça que je résous le problème.

Ok celui-ci m'a pris du temps à comprendre, j'avais l'impression que combiner des personnages pour produire du zalgo se limitait à ceux-ci . Je m'attendais donc à ce que les regex suivantes attrapent les monstres.

([\u0300–\u036F\u1AB0–\u1AFF\u1DC0–\u1DFF\u20D0–\u20FF\uFE20–\uFE2F]{2,})

et ça n'a pas marché ...

Le hic, c'est que la liste du wiki ne couvre pas la gamme complète de combinaisons de caractères.

Ce qui m'a donné un indice, c'est "ก้้้้้้้้้้้้้้้้้้้้".charCodeAt(2).toString(16)= "e49" qui, en dehors d'une plage de combinaison, tombe dans «Usage privé».

En C #, ils tombent sous UnicodeCategory.NonSpacingMarket le script suivant les élimine:

    [Test]
    public void IsZalgo()
    {
        var zalgo = new[] { UnicodeCategory.NonSpacingMark };

        File.Delete("IsModifyLike.html");
        File.AppendAllText("IsModifyLike.html", "<table>");
        for (var i = 0; i < 65535; i++)
        {
            var c = (char)i;
            if (zalgo.Contains(Char.GetUnicodeCategory(c)))
            {


                File.AppendAllText("IsModifyLike.html", string.Format("<tr><td>{0}</td><td>{1}</td><td>{2}</td><td>A&#{3};&#{3};&#{3}</td></tr>\n",  i.ToString("X"), c, Char.GetUnicodeCategory(c), i));

            }
        }
        File.AppendAllText("IsModifyLike.html", "</table>");
    }

En regardant la table générée, vous devriez être en mesure de voir lesquels se superposent. Une plage qui manque sur le wiki en est 06D6-06DCune autre 0730-0749.

METTRE À JOUR:

Voici une regex mise à jour qui devrait pêcher tous les zalgo, y compris ceux contournés dans la plage `` normale ''.

([\u0300–\u036F\u1AB0–\u1AFF\u1DC0–\u1DFF\u20D0–\u20FF\uFE20–\uFE2F\u0483-\u0486\u05C7\u0610-\u061A\u0656-\u065F\u0670\u06D6-\u06ED\u0711\u0730-\u073F\u0743-\u074A\u0F18-\u0F19\u0F35\u0F37\u0F72-\u0F73\u0F7A-\u0F81\u0F84\u0e00-\u0eff\uFC5E-\uFC62]{2,})

Le plus difficile est de les identifier, une fois que vous avez fait cela - il existe une multitude de solutions, y compris certaines bonnes ci-dessus.

J'espère que cela vous fera gagner du temps.