Bonne fonction de hachage pour les chaînes

J'essaie d'imaginer une bonne fonction de hachage pour les chaînes. Et je pensais que ce serait peut-être une bonne idée de résumer les valeurs Unicode pour les cinq premiers caractères de la chaîne (en supposant qu'elle en ait cinq, sinon arrêtez là où elle se termine). Est-ce que ce serait une bonne idée ou une mauvaise idée?

Je fais cela en Java, mais je n'imagine pas que cela ferait une grande différence.

Habituellement, les hachages ne feront pas de somme, sinon stopet potsauront le même hachage.

et vous ne le limiteriez pas aux n premiers caractères car sinon, la maison et les maisons auraient le même hachage.

Généralement, les hachages prennent des valeurs et les multiplient par un nombre premier (le rend plus susceptible de générer des hachages uniques) Vous pouvez donc faire quelque chose comme:

int hash = 7;
for (int i = 0; i < strlen; i++) {
    hash = hash*31 + charAt(i);
}

Si c'est une question de sécurité, vous pouvez utiliser la crypto Java:

import java.security.MessageDigest;

MessageDigest messageDigest = MessageDigest.getInstance("SHA-256");
messageDigest.update(stringToEncrypt.getBytes());
String encryptedString = new String(messageDigest.digest());

Vous devriez probablement utiliser String.hashCode () .

Si vous voulez vraiment implémenter vous-même hashCode:

Ne soyez pas tenté d'exclure des parties importantes d'un objet du calcul du code de hachage pour améliorer les performances - Joshua Bloch, Effective Java

Utiliser uniquement les cinq premiers caractères est un mauvaise idée . Pensez aux noms hiérarchiques, tels que les URL: ils auront tous le même code de hachage (car ils commencent tous par "http: //", ce qui signifie qu'ils sont stockés sous le même compartiment dans une carte de hachage, présentant des performances terribles.

Voici une histoire de guerre paraphrasée sur le hashCode String de " Effective Java ":

La fonction de hachage de chaîne implémentée dans toutes les versions antérieures à la version 1.2 a examiné au plus seize caractères, régulièrement espacés dans la chaîne, en commençant par le premier caractère. Pour les grandes collections de noms hiérarchiques, tels que les URL, cette fonction de hachage a affiché un comportement terrible.

Si vous faites cela en Java, pourquoi le faites-vous? Appelez simplement .hashCode()la chaîne

Guava'sHashFunction ( javadoc ) fournit un hachage décent non crypto-fort.

Cette fonction fournie par Nick est bonne mais si vous utilisez une nouvelle chaîne (octet [] octets) pour effectuer la transformation en chaîne, elle a échoué. Vous pouvez utiliser cette fonction pour ce faire.

private static final char[] hex = { '0', '1', '2', '3', '4', '5', '6', '7', '8', '9', 'a', 'b', 'c', 'd', 'e', 'f' };

public static String byteArray2Hex(byte[] bytes) {
    StringBuffer sb = new StringBuffer(bytes.length * 2);
    for(final byte b : bytes) {
        sb.append(hex[(b & 0xF0) >> 4]);
        sb.append(hex[b & 0x0F]);
    }
    return sb.toString();
}

public static String getStringFromSHA256(String stringToEncrypt) throws NoSuchAlgorithmException {
    MessageDigest messageDigest = MessageDigest.getInstance("SHA-256");
    messageDigest.update(stringToEncrypt.getBytes());
    return byteArray2Hex(messageDigest.digest());
}

Peut-être que cela peut aider quelqu'un

// djb2 hash function
unsigned long hash(unsigned char *str)
{
    unsigned long hash = 5381;
    int c;

    while (c = *str++)
        hash = ((hash << 5) + hash) + c; /* hash * 33 + c */

    return hash;
}

Logique source derrière la fonction de hachage djb2 - SO

On dit que FNV-1 est une bonne fonction de hachage pour les chaînes.

Pour les chaînes longues (plus longues que, disons, environ 200 caractères), vous pouvez obtenir de bonnes performances avec la fonction de hachage MD4 . En tant que fonction cryptographique, elle a été interrompue il y a environ 15 ans, mais à des fins non cryptographiques, elle est toujours très bonne et étonnamment rapide. Dans le contexte de Java, vous devrez convertir les charvaleurs 16 bits en mots 32 bits, par exemple en regroupant ces valeurs en paires. Une implémentation rapide de MD4 en Java peut être trouvée dans sphlib . Probablement exagéré dans le contexte d'un travail en classe, mais cela vaut la peine d'essayer.

Si vous voulez voir les implémentations standard de l'industrie, je regarderais java.security.MessageDigest .

"Les résumés de messages sont des fonctions de hachage unidirectionnelles sécurisées qui prennent des données de taille arbitraire et produisent une valeur de hachage de longueur fixe."

voici un lien qui explique de nombreuses fonctions de hachage différentes, pour l'instant je préfère la fonction de hachage ELF pour votre problème particulier. Il prend en entrée une chaîne de longueur arbitraire.

sdbm: cet algorithme a été créé pour la bibliothèque de base de données sdbm (une réimplémentation du domaine public de ndbm)

static unsigned long sdbm(unsigned char *str)
{   
    unsigned long hash = 0;
    int c;
    while (c = *str++)
            hash = c + (hash << 6) + (hash << 16) - hash;

    return hash;
}

         public String hashString(String s) throws NoSuchAlgorithmException {
    byte[] hash = null;
    try {
        MessageDigest md = MessageDigest.getInstance("SHA-256");
        hash = md.digest(s.getBytes());

    } catch (NoSuchAlgorithmException e) { e.printStackTrace(); }
    StringBuilder sb = new StringBuilder();
    for (int i = 0; i < hash.length; ++i) {
        String hex = Integer.toHexString(hash[i]);
        if (hex.length() == 1) {
            sb.append(0);
            sb.append(hex.charAt(hex.length() - 1));
        } else {
            sb.append(hex.substring(hex.length() - 2));
        }
    }
    return sb.toString();
}

C'est une bonne idée de travailler avec un nombre impair lorsque vous essayez de développer une bonne fonction hast pour la chaîne. cette fonction prend une chaîne et renvoie une valeur d'index, jusqu'à présent, son travail est plutôt bon. et a moins de collision. l'indice va de 0 à 300 peut-être même plus que cela, mais je n'ai pas été plus élevé jusqu'à présent, même avec de longs mots comme «génie électromécanique»

int keyHash(string key)
{
    unsigned int k = (int)key.length();
    unsigned int u = 0,n = 0;

    for (Uint i=0; i<k; i++)
    {
        n = (int)key[i];
        u += 7*n%31;
    }
    return u%139;
}

une autre chose que vous pouvez faire est de multiplier chaque caractère int parse par l'index au fur et à mesure qu'il augmente comme le mot "ours" (0 * b) + (1 * e) + (2 * a) + (3 * r) ce qui vous donnera une valeur int avec laquelle jouer. la première fonction de hachage ci-dessus se heurte à «ici» et à «entendre» mais toujours excellente pour donner de bonnes valeurs uniques. celui ci-dessous n'entre pas en collision avec «ici» et «entendre» car je multiplie chaque caractère avec l'index à mesure qu'il augmente.

int keyHash(string key)
{
    unsigned int k = (int)key.length();
    unsigned int u = 0,n = 0;

    for (Uint i=0; i<k; i++)
    {
        n = (int)key[i];
        u += i*n%31;
    }
    return u%139;
}

Voici une fonction de hachage simple que j'utilise pour une table de hachage que j'ai créée. Son essentiellement pour prendre un fichier texte et stocke chaque mot dans un index qui représente l'ordre alphabétique.

int generatehashkey(const char *name)
{
        int x = tolower(name[0])- 97;
        if (x < 0 || x > 25)
           x = 26;
        return x;
}

Ce que cela fait essentiellement, c'est que les mots sont hachés en fonction de leur première lettre. Ainsi, un mot commençant par «a» obtiendrait une clé de hachage de 0, «b» aurait 1 et ainsi de suite et «z» serait de 25. Les nombres et les symboles auraient une clé de hachage de 26. Cela présente un avantage. ; Vous pouvez calculer facilement et rapidement où un mot donné serait indexé dans la table de hachage puisque tout est dans un ordre alphabétique, quelque chose comme ceci: Le code peut être trouvé ici: https://github.com/abhijitcpatil/general

Donnant le texte suivant comme entrée: Atticus a dit à Jem un jour: «Je préfère que vous tiriez sur des boîtes de conserve dans l'arrière-cour, mais je sais que vous vous attaquerez aux oiseaux. Tirez sur tous les geais bleus que vous voulez, si vous pouvez les frapper, mais rappelez-vous que c'est un péché de tuer un oiseau moqueur. Ce fut la seule fois où j'entendis Atticus dire que c'était un péché de faire quelque chose, et j'en demandai à Mlle Maudie. «Ton père a raison», dit-elle. «Les Mockingbirds ne font rien d'autre que faire de la musique pour que nous puissions en profiter. Ils ne mangent pas les jardins des gens, ne nichent pas dans des berceaux de maïs, ils ne font rien mais chantent tout leur cœur pour nous. C'est pourquoi c'est un péché de tuer un oiseau moqueur.

Ce serait la sortie:

0 --> a a about asked and a Atticus a a all after at Atticus
1 --> but but blue birds. but backyard
2 --> cribs corn can cans
3 --> do don’t don’t don’t do don’t do day
4 --> eat enjoy. except ever
5 --> for for father’s
6 --> gardens go
7 --> hearts heard hit
8 --> it’s in it. I it I it’s if I in
9 --> jays Jem
10 --> kill kill know
11 --> 
12 --> mockingbird. music make Maudie Miss mockingbird.”
13 --> nest
14 --> out one one only one
15 --> people’s
16 --> 17 --> right remember rather
18 --> sin sing said. she something sin say sin Shoot shot said
19 --> to That’s their thing they They to thing to time the That to the the tin to
20 --> us. up us
21 --> 
22 --> why was was want
23 --> 
24 --> you you you’ll you
25 --> 
26 --> “Mockingbirds ” “Your ‘em “I’d

Cela évitera toute collision et ce sera rapide jusqu'à ce que nous utilisions le décalage dans les calculs.

 int k = key.length();
    int sum = 0;
    for(int i = 0 ; i < k-1 ; i++){
        sum += key.charAt(i)<<(5*i);
    }