Rédaction : 12/2019
Mise à jour : 04/2020

Pour faire suite à l’article d’installation de Proxmox 5, Proxmox ayant mis à disposition sa version 6 avant l’été, j’ai attendu quelques mois par principe pour migrer mon installation dans cette dernière version.

Dans mon cas, ayant changé de disque dur SSD pour passer sur un SSD plus important (1 To – la joie des promotions et le prix des disques s’effondrant), j’ai donc réalisé une installation complète puis j’ai récupéré mes différentes VMs, le tout en moins de 2h de coupure.

Disque dur SANDISK 1 To (mon choix actuel)

Disque dur SANDISK SSD 3D 1 To

Disque dur SAMSUNG QVO 360

Disque dur SAMSUNG EVO

Prenez soin de lancer une dernière sauvegarde de Jeedom sur votre VM le cas échéant et de vérifier qu’elle est bien présente dans votre partage SAMBA si vous stockez vos sauvegardes ailleurs.

Par principe, je ne peux que vous recommandez de sauvegarder vos VMs en les passant en Arrêter ou Power Off. Évitez le “Stopper” assez violent !

Puis réalisez une sauvegarde de chaque VM par principe et sécurité ! Veillez à bien stocker vos sauvegardes non pas sur le disque dur SSD (sauf si vous le souhaitez absolument et que vous l’avez partitionné par exemple) car vous perdrez son contenu lors du formatage – mais bien sur un disque externe ou votre NAS. Pour rappel, le point de montage de votre NAS est défini dans Datacenter/Stockage. Pour ma part, c’est un stockage NFS pointant sur mon QNAP (voir l’article d’origine sur Proxmox 5).

Il existe une procédure de migration de Proxmox 5 à Proxmox 6 donné par l’éditeur et disponible sur le net. Pour ma part, j’ai préféré refaire une installation complète, ce n’est pas pour le temps que cela a pris ! Et au moins, je pars d’une installation “fresh” plutôt que de risquer un problème d’upgrade…

Pour ma part, installation du nouveau disque SSD.

Remontez tout. Branchez la clé USB après avoir téléchargé l’ISO de Proxmox 6 téléchargeable ici. Vous pouvez utiliser BalenaEtcher pour graver votre ISO sur la clé USB… L’article d’origine en V5 reste grandement valide !

Si nécessaire, indiquez à votre BIOS de démarrer sur la clé USB… bien sûr ! Vous arrivez alors à l’écran d’installation de Proxmox avec la sélection de votre nouveau disque, chez moi /dev/sda. Dans les options, vous pourrez régler le swap, la taille du disque root etc.

• FILESYSTEM : EXT4, système de fichiers propre à Linux ;
• HDSIZE : taille du disque dur, dans mon cas 931 Go ;
• SWAPSIZE : la taille du swap, c’est à dire la partition qui sera utilisée lorsque la RAM sera pleine. Habituellement, on met entre 4 et 8 Go, sachant que mon serveur aura 32 Go de RAM, j’indique 32 Go ce n’est pas pour la place que j’ai de disponible !
• MAXROOT : partition pour le système – même si Proxmox prend environ 8 Go, je prends large – 16 Go (on est fou !) ;
• MINFREE : partition pour le boot – la méthode de calcul est soit 1/8 de la taille du disque si inférieur à 128 Go ou on cape à 16 Go … donc 16 Go !
• MAXVZ : partition qui permettra le stockage des machines virtuelles… on fait le calcul ? Bein le reste ! Elle portera le nom de local-lvm que vous retrouverez plus loin.

Puis indiquez votre paramétrage FR, fuseau horaire et votre clavier… suivez l’assistant : mot de passe root etc.

Viens ensuite le paramétrage réseau. L’adresse MAC que vous aviez dû réserver pour votre serveur et Proxmox 5 est toujours la même… Indiquez le hostname que vous souhaitez pour votre serveur, son adresse IP (2.80 chez moi), la passerelle (2.1 chez moi) et mon serveur DNS étant mon Pi-hole (2.94). Quelques liens pour les articles en rapport le cas échéant !

Et l’installation est partie ! A la fin de l’installation, une fenêtre vous invite à redémarrer et à retirer votre clé USB… après le redémarrage, vous arriverez à la console …

On ne change rien pour accéder à l’interface de configuration de Proxmox depuis un navigateur Web classique…

Les articles de base restent tous valables mais nécessite quelques ajustements … résumé ici !

Update et Configuration

Logguez vous en SSH par le compte Root et effectuez quelques commandes pour installer une personnalisation de shell sympa et htop pour visualiser la charge d’un coup d’oeil…

EDIT : j’ai hébergé le fichier bashrc n’étant plus dispo sur le site Jeedom…

Rendez-vous ici !

apt-get install -y dos2unix htop ethtool
rm -rf /root/.bashrc
wget https://jeedom-facile.fr/wp-content/uploads/2020/04/bashrc.txt -O /root/.bashrc
dos2unix /root/.bashrc

Ensuite modifiez les sources adéquates à cette version de Proxmox :

nano /etc/apt/sources.list
puis ajoutez cette ligne :
deb http://download.proxmox.com/debian buster pve-no-subscription
de l'autre, commentez (avec #) celle de la version entreprise :
nano /etc/apt/sources.list.d/pve-enterprise.list
# deb https://enterprise.proxmox.com/debian buster pve-enterprise

Terminez avec une mise à jour du système :

apt update -y && apt upgrade -y && apt dist-upgrade -y

Ajout du NAS distant

L’objectif est d’ajouter un disque dur externe, celui qui vous servira pour vos sauvegardes et …. surtout va vous servir à récupérer toutes vos VMs !

Si vous ne l’avez pas déjà fait par le passé dans la V5 (voir l’article dédié), configurez un partage NFS depuis votre NAS, ici un QNAP. Ici je partage un répertoire Domotique de mon QNAP uniquement pour l’IP de mon serveur Hystou (2.80).

Comme expliqué plus haut, ajoutez dans Proxmox un point de montage NFS dans Datacenter / Stockage / Ajouter un répertoire NFS. Indiquez l’IP de votre NAS et son partage ici /Domotique/Backups pour mes backups ! J’indique à Proxmox que je ne souhaite conserver que les 7 dernières sauvegardes de chaque VM. Le contenu sera uniquement des fichiers de sauvegarde (il vous suffit de cliquer dessus pour choisir le type du contenu) VZDUMP.

J’organise donc mon pool de stockage comme suit :

Ajout d’un second compte administrateur

On peut suivre l’article d’origine … sinon ajoutez un groupe pour les admins et les users.

Dans la commande SSH ou dans la console Web, créez un nouveau compte par la commande suivante et ajoutez sa personnalisation de shell :

adduser NOMDUUSER
puis entrez son mot de passe (x2)
rm -rf /home/NOMDUUSER/.bashrc
wget https://raw.githubusercontent.com/jeedom/core/stable/install/bashrc -O /home/NOMDUUSER/.bashrc
dos2unix /home/NOMDUUSER/.bashrc

Connectez-vous en SSH par votre client SSH sans utiliser le root mais bien ce nouveau compte !

Ajoutez le nouvel utilisateur dans l’interface Web en lui affectant le groupe Administrateurs.

Ainsi que les droits par l’ajout de Permissions :

Pour ma part, j’ai ajouté un utilisateur des VMs en local (groupe utilisateurs) au cas où ainsi qu’un compte admin dédié (groupe administrateurs) au plugin Proxmox sous Jeedom … Pensez à chaque fois à ajouter vos utilisateurs dans le bon groupe (Admin ou User) et de valider les permissions.

Surveillance SMART du disque

Là encore comme l’article d’origine ou on y va … se logguer en SSH sur le compte root et voici les commandes d’installation et configuration :

apt-get install -y smartmontools
puis testez smart :
smartctl -i /dev/sda
le smart doit être activé sur sda ; à défaut :
smartctl -s on -d ata /dev/sda
on vérifie alors la santé :
smartctl -H /dev/sda
qui doit retourner :
PASSED = OK
en cas d'erreur :
smartctl -l error /dev/sda
si tout est OK :
no errors logged

Ensuite il faut configurer le démon qui gère cette surveillance en décommentant et en configurant l’intervalle de surveillance :

nano /etc/default/smartmontools
# uncomment to start smartd on system startup
start_smartd=yes
# uncomment to pass additional options to smartd on startup
smartd_opts="--interval=1800"
puis configurer un email pour l'alerte :
nano /etc/smartd.conf
on commente la ligne DEVICESCAN puis on ajoute 
/dev/sda -a -o on -S on -s (S/../.././02|L/../../6/03) -m [email protected]

Configuration de fail2ban

Là encore l’article d’origine mais il m’a fallu adapter avec cette V6. Installez le paquet et lançons-nous dans la configuration après une copie de sauvegarde du fichier d’origine. C’est une copie de ma configuration, à vous de modifier si les délais ne vous conviennent pas !

apt-get update && apt-get dist-upgrade
apt-get install fail2ban
cp /etc/fail2ban/jail.conf /etc/fail2ban/jail.local
nano /etc/fail2ban/jail.local
modifiez comme suit :
bantime = 86400
[...]
findtime = 3600
[...]
maxretry = 3
[...]
destemail = [email protected]
[...]
sender = root@<fq-hostname>
[...]
mta = mail
[...]
protocol = tcp
[...]
chain = INPUT
[...]
action = %(action_mwl)s
[...]
puis en fin de fichier ajoutez enabled=true pour les prisons proxmox, sshd.

Configurez la prison de proxmox par :

nano /etc/fail2ban/filter.d/proxmox.conf
[Definition]
failregex = pvedaemon\[.*authentication failure; rhost=<HOST> user=.* msg=.*
ignoreregex =

Un restart et status vous permettront de vérifier les prisons activées pour fail2ban.

service fail2ban restart

Quelques trucs liés à fail2ban :

Pour tester un filtre :
fail2ban-regex /var/log/daemon.log /etc/fail2ban/filter.d/proxmox.conf
Pour voir si une IP est bloquée :
iptables -L
retourne les IP et prisons activées
iptables -D f2b-sshd n°de ligne (1ère ligne etc)
va supprimer alors le blocage dans la prison f2b-sshd ...

Doublage (et triplage) du DNS

Utilisant Pi-Hole, je préfère par sécurité doubler l’IP du DNS en cas de perte de Pi-Hole (jamais arrivé mais bon…). Par défaut, je pointe sur ma passerelle qui renvoie sur le Pi-Hole.

Je récupère alors les DNS orange sur mon interface Livebox :

Rendez-vous alors dans Noeud Datacenter / Système / DNS et ajoutez les DNS supplémentaires.

Gestion de l’envoi des emails

Là encore l’article d’origine doit être modifié depuis la V5… Ne conservez que la procédure pour avoir un mot de passe sans double authentification si vous utilisez un compte Google.

Installation des paquets :
apt-get install libasl2-modules
Configurez votre email :
nano /etc/mailname 
[email protected]
Configurez vos identifiants de connexion :
nano /etc/postfix/sasl_passwd
smtp.gmail.com:465 [email protected]:votremotdepasse_sans_doubleauth
Adaptez les droits sur ce fichier de configuration :
postmap hash:/etc/postfix/sasl_passwd
chmod 600 /etc/postfix/sasl_passwd

Puis configurez l'envoi d'email :
nano /etc/postfix/main.cf

# See /usr/share/postfix/main.cf.dist for a commented, more complete version
smtpd_banner = $myhostname ESMTP $mail_name (Debian/GNU)
biff = no

# appending .domain is the MUA's job.
append_dot_mydomain = no
readme_directory = no

# See /usr/share/doc/postfix/TLS_README.gz in the postfix-doc package for
# information on enabling SSL in the smtp client.
relayhost = smtp.gmail.com:465
smtp_use_tls = no
smtp_sasl_auth_enable = yes
smtp_sasl_security_options =
smtp_sasl_password_maps = hash:/etc/postfix/sasl_passwd
smtp_tls_CAfile = /etc/ssl/certs/Entrust_Root_Certification_Authority.pem
smtp_tls_session_cache_database = btree:/var/lib/postfix/smtp_tls_session_cache
smtp_tls_session_cache_timeout = 3600s
inet_protocols = ipv4
smtp_tls_wrappermode = yes
smtp_tls_security_level = encrypt
myorigin = /etc/mailname

Puis rechargez tout :
postfix reload

Et vérifiez votre log :
tail /var/log/mail.info

Testez l'envoi d'un email :
echo "test message" | mail -s "test subject" [email protected]

Si problème de log, regardez ...
tail /var/log/mail.info

Vous pouvez ensuite tester n’importe quelle fonction dans Proxmox … Testez alors une sauvegarde dans l’interface Web de Proxmox et l’envoi du mail d’OK. Pour ma part, je me sers de cette fonction pour être averti si la sauvegarde quotidienne des VM a échoué.

Surveillance de l’onduleur

Pour ma part, comme je l’ai expliqué sur cet article, j’utilise un onduleur branché en USB sur mon NAS QNAP. Pour récupérer l’information de coupure électrique par le réseau (l’onduleur étant branché en USB sur le NAS) et éteindre proprement le serveur Proxmox au bout de 30 minutes, voici la méthode !

Vous pouvez suivre la configuration côté QNAP dans l’article précédent. Vous allez mettre en place votre serveur NUT intégré à QNAP, ajoutez les IP qui ont besoin de l’information (Jeedom si vous utilisez le plugin NUT ; Proxmox) puis côté serveur Proxmox, je vous récapitule ce qu’il faut faire une fois votre serveur NUT configuré :

Installez le paquet nut (client) :
apt-get install nut-client
Configurez le client comme client réseau en éditant le fichier de cfg : 
nano /etc/nut/nut.conf
et ajoutez la ligne suivante :
* MODE=netclient
Editez le fichier de notification :
nano /etc/nut/notify
Ajoutez la ligne suivante :
#! /bin/shecho "$*" | mailx -s "Proxmox: UPS notice" [email protected]
Modifiez les droits :
chown root:nut /etc/nut/notify
chmod 740 /etc/nut/notify
Vérifiez :
ls -l /etc/nut
Vous devez voir comme propriétaire & groupe : root/nut

Configurez ensuite la surveillance de l'onduleur côté Proxmox comme suit :
nano /etc/nut/upsmon.conf
Voici les lignes que j'ai modifiées :
MINSUPPLIES 1
SHUTDOWNCMD "/sbin/shutdown -h +0"
POLLFREQ 5
POLLFREQALERT 5
HOSTSYNC 15
DEADTIME 15 # x3 pollfreq
POWERDOWNFLAG /etc/killpower
RBWARNTIME 43200 # replaces battery every 12h (à changer...)
NOCOMMWARNTIME 300
FINALDELAY 40 # le serveur domotique s'éteindra au bout de 40 min
MONITOR [email protected]:3493 1 proxmoxuser proxmox slave
RUN_AS_USER root
NOTIFYCMD /etc/nut/notify
NOTIFYMSG ONBATT "%s est sur batterie !"
NOTIFYMSG ONLINE "%s est de retour sur secteur !"
NOTIFYMSG LOWBATT "%s n'a presque plus de batterie !"
NOTIFYMSG SHUTDOWN "Le serveur domotique va s'éteindre !"
NOTIFYFLAG ONBATT SYSLOG+WALL+EXEC
NOTIFYFLAG LOWBATT SYSLOG+WALL+EXEC
NOTIFYFLAG ONLINE SYSLOG+WALL+EXEC
NOTIFYFLAG COMMBAD SYSLOG+WALL+EXEC
NOTIFYFLAG COMMOK SYSLOG+WALL+EXEC
NOTIFYFLAG REPLBATT SYSLOG+WALL+EXEC
NOTIFYFLAG NOCOMM SYSLOG+EXEC

On vérifie la communication avec le QNAP qui sert de serveur NUT :
upsc qnapups@IPDUNAS:3493 ups.status
Init SSL without certificate database
OL CHRG
OL = on line 
CHRG = en charge

Et un démarrage, status pour vérifier que tout est OK : 
service nut-client start
service nut-client status
Tout doit être OK...

Pour rappel, je récupère l’information de l’onduleur par le plugin Onduleur (NUT) sous Jeedom. Il me permet d’être notifié en cas de coupure ou de reprise. Veillez à bien suivre le début de l’article précédent pour configurer votre NAS le cas échéant et que Jeedom.

Un scénario qui tourne toutes les 5 min ou sur le changement d’état de l’onduleur me permet d’avoir la notification de coupure ou de reprise électrique et de lancer des actions distinctes dans ces 2 cas.

J’analyse la chaîne de caractère de l’état de l’onduleur (fonction substr sur les 11 premiers caractères) et :

• je mets à jour un virtuel binaire simple qui me permet d’avoir une conversion binaire de l’état de l’onduleur et de le relayer dans un design (ici KO ou OK)
• j’envoie une notification TTS importante (SMS) à tout le monde sur la coupure et au cas où les informations de pilotage de la prise serveur du second Jeedom de reprise par Domowidget, voir l’article dédié.
• si l’électricité est revenue je vais rénitialiser quelques variables pour la détection de mouvement des tablettes et je renvoie la procédure en cas de reprise et je fais des OFF de sécurité sur quelques équipements critiques.

La récupération de vos VMs !

Mais tout ça pourquoi me diriez-vous ! Maintenant que Proxmox est parfaitement configuré, il ne reste plus qu’à importer vos VMs. Vous avez donc paramétré le répertoire de backup où sont présentes vos VM… rien de plus facile.

Dans mon cas, je vais donc dans le point de montage QNAP – celui où je stocke toutes mes sauvegardes et je restaure mes VM une par une …

Et j’indique bien le numéro de la VM que je veux recréer ! Tout est inclus : paramétrage, configuration HW, ports USB etc. Attention à ne pas avoir inversé des ports USB au remontage si comme moi vous avez démonté votre serveur… il faudra refaire l’affectation en root, vous avez la procédure que j’avais utilisée pour la VM Jeedom avec les éléments USB.

Mise en place des sauvegardes

Maintenant que tout roule parfaitement, je vous rappelle que j’ai mis en place une sauvegarde automatique dont je ne conserve que les 7 dernières archives de chaque VM.

Cette sauvegarde a lieu tous les jours à 1h du matin et je suis notifié en cas de problème… Rendez-vous dans Datacenter / Sauvegarde.

Un débat sur le forum Jeedom avait eu lieu car je m’étais rendu compte que certaines VM étaient cassées (API ou DB) en cas de reprise. Je ne peux que vous conseillez de les suspendre et d’éviter le snapshot dans l’absolu si vous le pouvez. La compression est très utile mais demande beaucoup de temps. Aussi comme j’ai de la place, je préfère avoir une sauvegarde rapide…

Pour éviter d’avoir des notifications dans tous les sens, il m’a fallu modifier quelques scénarios côté Jeedom et JPI.

Concernant le monitoring du Jeedom principal par la VM Jeedom de mon NAS, j’ai simplement ajouter un filtrage de l’horaire entre 1h et 1h30 pour éviter de recevoir de fausses alertes alors que la VM est en train de se sauvegarder.

Il suffit d’ajouter un SI sur l’heure pour les deux scénarios de :

• perte Jeedom avec prise ON ;
• reprise Jeedom

L’autre modification est côté JPI qui monitore mon Jeedom principal. Là encore, je n’ai fait qu’ajouter un filtrage de l’heure.

Voici le scénario qui gère la notification de la perte de Jeedom au bout d’une minute :

Surveillance de Proxmox depuis Android et Jeedom

Je vous renvoie vers l’article suivant toujours d’actualité et fort pratique…

Par ailleurs, un développeur a mis au point un plugin Proxmox très pratique. Utilisez l’utilisateur que vous avez dédié en début d’article.

Cela va vous pour suivre les ressources, l’espace libre, la charge processeur, mémoire etc. Pour être notifié, rien de plus simple. Choisissez la ressource que vous voulez suivre, historisez-la puis mettez une action de notification en cas de dépassement :

Long article qui reprend le passage ou la configuration d’un Proxmox en V6. Il regroupe toute la configuration nécessaire à Proxmox pour vous lancer. Et quelques utilisations pour Jeedom et JPI !

La conclusion de cet article

Si vous avez aimé cet article, remerciez-moi en considérant une petite donation financière par Paypal. Je dois dire que j’ai mis près d’un mois à le rédiger mais surtout plus de 2 ans à mettre au point tout cela. Et je n’y touche plus car cela tourne ! Cela prend du temps de rédiger et de partager ce contenu, sans publicité !

Merci à vous !