Comment les grands sites comme StackOverflow gèrent-ils leurs journaux d'accès?

8

Je me demande comment les grands sites comme StackOverflow gèrent leurs journaux d'accès. Une écriture sur le disque à chaque demande semble un peu peu économique, mais Google Analytics est-il fiable pour l'utiliser comme votre seule ressource d'information?

— Stephen Ostermiller
source

Vous pouvez configurer Apache pour vous connecter à une base de données. J'imagine que IIS est le même.

— Lèse majesté

2

Sur un système * nix, vous pouvez utiliser syslog-ng pour stocker les messages de journal sur un serveur de journal dédié pour vos clusters à charge équilibrée, puis utiliser une solution d'analyse de journal comme Splunk pour garder un œil sur les choses - comme pour ce que les sites StackExchange réellement exécuté, peut être une bonne question pour StackOverflow Meta .

— danlefree
source

Quelqu'un a-t-il encore demandé à quoi sert l'échange de pile?

— theonlygusti

2

Il y a beaucoup d'informations que les journaux du serveur Web contiennent qui ne seront jamais disponibles pour Google Analytics, deux choses auxquelles je peux penser:

Erreurs comme 404, etc.
Accès sur des fichiers multimédias, comme des photos, etc. (y compris des sites Web externes liés à vos images)
Adresses IP, bien qu'une réponse à une autre question ait souligné qu'elle peut être définie comme une variable utilisateur
URL de référence complètes, par exemple, Google envoie des liens à partir de la recherche de produits, de la recherche sur le Web, etc. chaque recherche a des mots-clés mais Google Analytics n'affiche pas les autres variables comme &source=products, etc.

Ça doit être plus de choses auxquelles je ne peux pas penser en ce moment.

Et il y a aussi les journaux d'erreurs; doit être important pour qu'un site Web fonctionne bien, à mon avis. Pas quelque chose que vous ignoreriez.

— Evgeny
source

C'est vrai, mais comment stockent-ils leurs journaux? Le fichier ou la base de données comme suggéré par Lèse majesté me semble trop lourd.

En fait, lorsque vous compressez ce type de données répétitives ... elles se compriment très bien. J'imagine donc que vous pouvez simplement le stocker sous forme de fichiers texte compressés et les supprimer après un certain temps ... juste votre rotation de base.

— Evgeny

0

Je ne regarde pas vraiment ces journaux et finis par les supprimer tous les mois. Je ne les regarde que pour le dépannage. Quant à l'application de surveillance, utilisez Google Analytics, CrazyEgg et d'autres font un excellent travail.

Avant que de tels services n'existent, ces journaux étaient très précieux. Maintenant, ce sont de bons outils de développement, mais je ne connais aucun de mes collègues ou amis qui archivent activement ces journaux ou les analysent pour les données.

— Franc
source