Machine au cimetière

Cette machine ayant fait son temps, nous avons profités du déménagement de LyonIX 1 à LyonIX 2 pour retirer cette machine de l'infrastrucutre de Grenode. Cette machine est remplacée par tillac.

Archives

Rouf est un serveur de machines virtuelles.

IP : 91.216.110.98 Localisation : LyonIX/L1 - La Doua/IN2P3 - Salle LyonIX Console serie et prises électriques Lyonix

  1. Machine au cimetière
  2. Archives
  3. Matériel
    1. Disques
    2. Anciens disques
  4. Historique
  5. Management, BIOS,…
    1. Configuration du BIOS
    2. Carte de managment (IPMI)
  6. Configuration
    1. Démarrage
    2. Stockage
    3. Procédure de changement d'un disque
    4. Schéma de partitionnement
    5. Xen
  7. Ajouter les interfaces (VLAN) pour un membre
  8. Serveur tftp pour sauvegarde de poulpe

Matériel

  • Machine: Dell PowerEdge 1950
  • RAM: 16 Go (8x2 Go) DDR ECC Fully Buffered en dual channel

Disques

Type Référence Date de mise en service Emplacement Virtual disk Device
WD Caviar black 1 To WD1003FZEX 2 février 2016 0 VD1 /dev/sdb
WD Caviar black 1 To WD1002FAEX 13 août 2012 1 VD0 /dev/sda

Anciens disques

Type Référence Date de mise en service Date de fin de service
Samsung 1 To HD103SJ novembre 2011 ? 13 août 2012
Hitachi Deskstar 1 To HDS721010KLA330 novembre 2011 ? 2 février 2016

Historique

  • 23 nov. 2011 : Installation initiale de rouf sur un Dell R210
  • ??? : Déplacement des disques dur dans une nouvelle machines
  • 15 juin 2012 : Installation à la Doua
    • branchements rouf <-> switch
    • branchements switch <-> Lasotel
    • branchements de nos 3 équipements au serveur de console
  • 13 aout 2012 : Changement d'un disque
  • 26 sept 2012 : Test de reboot de la machine (on est pas sur que la machine reboote toute seule après une coupure élec)
  • 11 fév. 2014 : Arrêt de la machine imprévu (un clavier usb semble avoir été branché)
  • 7 mars 2014 : mise à jour en wheezy
  • 2 février 2016 : changement d'un disque

Management, BIOS,…

Configuration du BIOS

Serial Communication: On with console redirection via com1
external serial connector: com1
failsafe baud rate: 19200
remote terminal type: vt100/vt200
redirection after boot: enabled

Carte de managment (IPMI)

  • IP de la carte: 192.168.1.176 (vlan 1000)
  • User: root

Exemple d'utilisation (depuis batture):

ipmitool -I lan -H 192.168.1.176 -U root chassis status

ipmitool -U root -H 192.168.0.176 -I lanplus shell

Remarque

Commandes tapées le 11/02/2014 pour réactiver l'ipmi qui ne marchait plus après le reboot :

sudo /opt/dell/srvadmin/bin/omconfig chassis remoteaccess config=nic enable=false
sudo /opt/dell/srvadmin/bin/omconfig chassis remoteaccess config=nic nicselection=shared
sudo /opt/dell/srvadmin/bin/omconfig chassis remoteaccess config=nic enable=true

Configuration

Démarrage

Le choix du disque sur lequel boot la machine se fait dans outil de gestion de la carte raid (ctrl-r au démarrage).

Stockage

Cette machine dispose d'une carte raid qui gère les disques durs formant une unité raid0 pour chaque disque. Ces deux unités participent ensuite à des unités raid1 gérées en raid logiciel selon le schéma de partitionnement suivant.

Raid matériel

La gestion matériel du raid peut se faire via le bios (ctrl-r au démarrage) ou via les outils dell (http://linux.dell.com/repo/community/deb/latest/).

Pour voir l'état des disques :

sudo /opt/dell/srvadmin/bin/omreport storage pdisk controller=0

Pour voir l'état des unités raid :

sudo /opt/dell/srvadmin/bin/omreport storage vdisk controller=0

Pour voir l'état des unités raid d'un disque physique donné :

sudo /opt/dell/srvadmin/bin/omreport storage vdisk controller=0 pdisk=n

SMART

Les devices (/dev/sda, /dev/sdb) sont exposés par le controlleur, il est donc nécessaire d'utiliser une syntaxe spéciale pour smartctl :

# Emplacement 0
sudo smartctl -d megaraid,0 -a /dev/sdb
# Emplacement 1
sudo smartctl -d megaraid,1 -a /dev/sda

Note : le device passé en argument n'est visiblement pas important, seul l'argument de megaraid est pris en compte.

Monitoring DELL

On utilise la sonde check-openmanage

http://folk.uio.no/trondham/software/check_openmanage.html#download

Raid logiciel

La gestion logicielle se fait comme d'habitude.

Procédure de changement d'un disque

Changer physiquement le disque défaillant

Pour cela, repérer le disque dont la LED d'activité ne clignote pas : c'est le disque à changer. Le changement peut se faire à chaud. Penser à se munir d'un tournevis cruciforme pour fixer le nouveau disque sur le support.

Recréer le RAID matériel

Le but est de recréer une grappe RAID0 sur le nouveau disque.

Il est normalement possible de faire cette opération depuis les outils Dell, sans rebooter. Cependant, les outils Dell ne fonctionnent pas sous wheezy (fuite mémoire ?), et ça peut être l'occasion de rebooter rouf pour les mises à jour de Xen et du noyau.

Au boot, taper Ctrl-R pour accéder à l'outil de gestion du RAID. Attention, il est conseillé d'avoir un clavier physique, certaines touches (F1-F12) semblent ne pas fonctionner par un port série...

Créer un nouveau "Virtual Disk" comprenant uniquement le nouveau disque physique.

Changer le disque sur lequel le serveur boote

Ça se fait aussi dans l'outil de gestion du RAID du BIOS, dans le dernier onglet. Il faut booter sur le disque qui n'a pas été changé.

Reconstruire le RAID logiciel

Une fois revenu sous Debian, il faut commencer par créer une table de partitions sur le nouveau disque. Le plus simple est de cloner la table du disque fonctionnel, /dev/sdX, vers le nouveau disque, /dev/sdY :

sudo sfdisk -d /dev/sdX | sudo sfdisk /dev/sdY

Attention : bien faire attention à ne pas inverser les devices, ce serait dommage... User et abuser de fdisk -l pour être bien sûr.

Il faut ensuite rajouter le nouveau disque aux différentes grappes RAID :

sudo mdadm --manage /dev/md0 --add /dev/sdY1
sudo mdadm --manage /dev/md1 --add /dev/sdY2
sudo mdadm --manage /dev/md2 --add /dev/sdY3

Pour voir l'avancement de la reconstruction :

cat /proc/mdstat

Réinstaller GRUB sur le nouveau disque

grub-install /dev/sdY

Schéma de partitionnement

 raid1
 /   \
d1   d2

◼ ··· ◼ ext3 (boot) ~ 300Mo
|     |
|     |
◼ ··· ◼ crypt −− pv −− vg-dom0 ◼ ext3 (rouf.grenode.net-disk) ~ 4Go
|     |                        |
|     |                        ◼ swap (rouf.grenode.net-swap) ~ 1Go
|     |
|     |
◼ ··· ◼ pv −− vg-domU ◼ lv-membre1
                      |
                      ◼ lv-membre2
                      |
                      …

Xen

Lors de la mise à jour vers Wheezy (07/03/2014), nous sommes passé de Xen 4.0 à Xen 4.1.

La "toolstack" que nous utilisons (xm) n'est pas celle par défaut dans Xen 4.1, et sera retirée dans Xen 4.2. Il est désormais conseillé d'utiliser xl : http://wiki.xen.org/wiki/XL http://wiki.xen.org/wiki/Choice_of_Toolstacks

Note : xl ne supporte pas le python dans les fichiers de configuration des VM (fonctionnalité que nous utilisons)

VM zombies

Dans certains cas, Xen pense qu'une VM est arrêtée, mais n'arrive pas à la relancer.

Symptomes : la VM est éteinte, n'apparaît pas dans xm list, mais lorsqu'on essaie de la relancer, on obtient :

Error: Device 768 (vbd) could not be connected.
Device /dev/dm-10 is mounted in a guest domain, and so cannot be mounted now.

Solution :

xenstore-rm /local/domain/<VM ID>/device/vbd/<device ID>

Pour connaître l'ID de la VM et être certain du device ID, utiliser xenstore-ls.

Ajouter les interfaces (VLAN) pour un membre

Exemple pour Ilico, on ajoute dans /etc/network/interfaces : 

#
# ILICO
#
auto eth0.210
iface eth0.210 inet manual
    up ip link set eth0.210 up

auto br-ilico
iface br-ilico inet manual
    bridge-ports eth0.210
    bridge_maxwait 0

On peut ensuite monter ces interfaces :

ifup eth0.210
ifup br-ilico

Serveur tftp pour sauvegarde de poulpe

poulpe ne sachant sauvegarder sa configuration qu'en tftp, on installe un serveur tftp sur rouf.

Le paquet tftpd-hpa est installé.

Configuration pour écouter uniquement sur le VLAN d'admin :

# /etc/default/tftpd-hpa
TFTP_USERNAME="tftp"
TFTP_DIRECTORY="/srv/tftp"
TFTP_ADDRESS="192.168.1.2:69"
TFTP_OPTIONS="--secure"

La raçine des fichiers envoyés par tftp est donc /srv/tftp.