Pipeline De Surveillance Linux : Centralisation Et Analyse Des Logs En Temps Réel Avec Elk Et Rsyslog

📝 Introduction : Ce guide complet explique comment mettre en place un pipeline de surveillance robuste pour centraliser et analyser vos journaux Linux en temps réel à l'aide de la Pile ELK (ElasticSearch, Logstash, Kibana) et de Rsyslog.

En tant qu'administrateur système ou développeur curieux, vous passez probablement beaucoup de temps à éplucher des fichiers logs pour dénicher des informations cruciales. Que vous cherchiez à surveiller des intrusions SSH, à identifier les erreurs d'une application à une heure précise, ou à déterminer qui a arrêté un service systemd, une solution de centralisation s'impose.

Nous allons construire un pipeline complet pour transformer l'analyse de vos journaux en une expérience visuelle et rapide.

📋 Table des Matières

1. Pourquoi Centraliser et Visualiser les Logs ?
2. Prérequis et Objectifs Pédagogiques
3. Architecture de Surveillance des Logs
   • 3.1. Concepts Clés : Syslog et Rsyslog
   • 3.2. Schéma d'Architecture ELK + Rsyslog
4. Installation de la Pile ELK (ElasticSearch, Logstash, Kibana)
   • 4.1. Installation de Java (JRE)
   • 4.2. Configuration des Référentiels Elastic
   • 4.3. Installation et Démarrage d'ElasticSearch
   • 4.4. Installation et Démarrage de Logstash
   • 4.5. Installation et Démarrage de Kibana
5. Mise en Place du Routage des Logs
   • 5.1. Configuration de Logstash (Entrée/Sortie)
   • 5.2. Configuration de Rsyslog (Transfert JSON)
6. Construction d'un Tableau de Bord Kibana
   • 6.1. Introduction à Kibana
   • 6.2. Visualisation : Diagramme à Barres par Processus
   • 6.3. Visualisation : Graphique Circulaire par Programme
   • 6.4. Visualisation : Graphique Circulaire par Gravité
   • 6.5. Surveillance Ciblée des Entrées SSH
7. Conclusion et Perspectives

• 3.1. Concepts Clés : Syslog et Rsyslog
• 3.2. Schéma d'Architecture ELK + Rsyslog

• 4.1. Installation de Java (JRE)
• 4.2. Configuration des Référentiels Elastic
• 4.3. Installation et Démarrage d'ElasticSearch
• 4.4. Installation et Démarrage de Logstash
• 4.5. Installation et Démarrage de Kibana

• 5.1. Configuration de Logstash (Entrée/Sortie)
• 5.2. Configuration de Rsyslog (Transfert JSON)

• 6.1. Introduction à Kibana
• 6.2. Visualisation : Diagramme à Barres par Processus
• 6.3. Visualisation : Graphique Circulaire par Programme
• 6.4. Visualisation : Graphique Circulaire par Gravité
• 6.5. Surveillance Ciblée des Entrées SSH

1. Pourquoi Centraliser et Visualiser les Logs ?

La centralisation et la visualisation des logs sont des compétences fondamentales pour tout ingénieur DevOps ou administrateur système. Voici pourquoi :

• Retour Visuel en Temps Réel : Créez des visualisations (graphiques, secteurs, tableaux) pour donner un sens immédiat aux données brutes.
• Agrégation et Tendance : Aggrégez des informations pour identifier des tendances ou comparer différents types de logs. La puissance d'expression de la plateforme permet d'aller au-delà de l'information brute.
• Filtrage Rapide et Élégant : Filtrez instantanément sur un terme spécifique, une période, ou un hôte, au lieu de parcourir manuellement d'immenses fichiers.
• Exploration Efficace : Kibana transforme la corvée de "grepping" de fichiers en une exploration rapide et intuitive des données.

2. Prérequis et Objectifs Pédagogiques

Prérequis :

• Un système Linux (Ubuntu ou Debian recommandé) avec Rsyslog installé.
• Des droits d'administrateur (sudo) suffisants pour installer des paquets.

Ce que vous allez apprendre :

• Le rôle de Rsyslog dans la gestion des journaux Linux.
• Comment installer et comprendre la Pile ELK (ElasticSearch 7.x, Logstash, Kibana).
• Comment configurer Rsyslog pour acheminer les logs vers Logstash.
• Comment configurer Logstash pour l'ingestion des logs et le stockage dans ElasticSearch.
• Comment créer des tableaux de bord pertinents dans Kibana.

Sans plus attendre, passons à l'action !

3. Architecture de Surveillance des Logs

3.1. Concepts Clés : Syslog et Rsyslog

La journalisation Linux repose historiquement sur le protocole **Syslog**, développé en 1980 pour standardiser le format des messages de journal. Les serveurs Syslog ont évolué pour inclure des fonctionnalités avancées comme le filtrage, le routage, et la rotation des journaux.

**Rsyslog** est un serveur Syslog moderne et modulaire. Il peut ingérer des journaux de nombreuses sources et les transmettre à un large éventail de destinations, ce qui en fait le choix parfait comme collecteur et transmetteur dans notre architecture.

3.2. Schéma d'Architecture ELK + Rsyslog

L'architecture que nous