ELK Stack (Logstash, Elasticsearch et Kibana) avec serveur syslog distant simultané?

Je construis un service d'analyseur de journaux pour commencer à surveiller principalement nos pare-feu pfSense, hyperviseurs XenServer, serveurs FreeBSD / Linux et serveurs Windows.

Il y a beaucoup de documentation sur Internet sur la pile ELK et comment la faire fonctionner correctement. Mais je voudrais l'utiliser d'une manière différente, mais je ne sais pas si c'est une bonne solution ou juste une perte de temps / d'espace disque.

J'ai déjà une machine FreeBSD 10.2 agissant comme un serveur syslog distant, et mon idée est de simplement concentrer tous les journaux sur cette machine et le serveur syslog transmet les journaux logstash-forwarderau serveur ELK.

Il est clair pour moi que cette approche augmentera les exigences de disque pour cette configuration, mais d'autre part, je n'aurai qu'une seule machine avec le logstash-forwarderdémon installé, ce qui me semble bon.

Mais parler de problèmes. L' logstashanalyseur correspond [host]au nom d'hôte du serveur envoyant les messages de journal, et dans cette approche, il n'y a que sur "server" show sur ELK, le serveur syslog distant.

Je suis conscient que je peux personnaliser les paramètres des logstashfichiers de configuration mais je ne sais pas (et je n'ai pas l'expérience pour savoir) si ce n'est qu'un simple paramètre sur les analyseurs si cela compromettra l'ensemble de l'ELK expérience.

En fin de compte, je veux juste quelques conseils sur mon architecture de journalisation et si cela fonctionnera, ou si je dois aller sans autre option.

Merci d'avance,

— Vinícius Ferrão
source

Je suis sûr que ce que vous voulez faire est possible, mais des détails sur le format auquel vous vous connectez sur le serveur central syslog, le taux de journalisation, etc. seraient formidables. En outre, poser une question spécifique vous donnera de bien meilleures réponses que de simplement dire "je suis perdu, aidez-moi".

— GregL

Avez-vous pensé à graylog? Vous pouvez utiliser l'entrée syslog de graylog pour ingérer syslog dans elasticsearch. De là, vous pouvez utiliser Kibana et graylog dispose d'un extracteur syslog / pfsense disponible.

— davey

Logstash a également une entrée syslog ...

— GregL

Oui. Il est possible de changer le hostchamp en sortie logstash avec rubyfiltre sans trop de tracas.

    ruby {
            code => "
                    event['host'] = event['message'].split(' ')[3]
                   "
    }

Ici, je suppose que dans les journaux du serveur syslog, le champ hôte est le quatrième champ où l'espace blanc est le séparateur.

— 7171u
source