Comment la bande latérale IPMI partage-t-elle le port Ethernet avec l'hôte?
Nous avons plusieurs machines supermicro avec des fonctionnalités IPMI/BMC. Certaines de ces machines utilisent une BMC à bord, tandis que d'autres utilisent une carte ajoutée .
Nous examinons en utilisant une bande latérale en raison de ses coûts réduits et des exigences de câblage. Cependant, certains détails de bande latérale n'ont pas de sens.
Bande latérale nécessite un câble Ethernet qui est branché sur un port Ethernet sur la carte mère. Ce port réseau est ensuite partagé entre le système IPMI et le système d'exploitation. De ce que j'ai lu dans ce manuel SuperMicro , "Utilisez la même adresse MAC que vous utilisez pour LAN1 pour la carte SIMSO IPMI". Cependant, l'IPMI doit avoir une adresse IP différente puis le système d'exploitation.
Comment est-il possible d'avoir deux périphériques (le système d'exploitation et l'IPMI) qui peuvent écouter et transmettre sur ce même port de réseau physique? Lorsqu'un paquet arrive à l'interface, comment le système détermine-t-il si ce paquet est destiné au système d'exploitation ou au système IPMI?
Ces paquets sont-ils traités par la CPU du tout, en utilisant des interruptions de la CPU? Les paquets de l'interface IPMI peuvent-ils être visionnés par le système d'exploitation?
Je gère beaucoup de serveurs SuperMicro à l'aide de l'IPMI à bord. J'ai une relation amour/haine avec l'Ethernet partagé (AKA Bande latérale). En règle générale, la manière dont ces choses fonctionnent est que LAN1 semble avoir 2 adresses MAC (différentes): une est destinée à l'interface IPMI, l'autre VOTRE Standard BroadCom NAK. Le trafic de l'interface IPMI (couche 2, basé sur l'adresse MAC) est intercepté par magiquement sous le niveau du système d'exploitation et jamais vu par le système d'exploitation.
Vous avez déjà frappé sur le bon point pour eux: moins de câblage. Maintenant, laissez-moi couvrir certains des inconvénients:
- Il est particulièrement difficile de partitionner l'interface IPMI sur un sous-réseau séparé de manière sécurisée. Étant donné que le trafic passe sur le même câble, vous devez toujours avoir l'interface IPMI et l'interface LAN1 sur le même sous-réseau IP. Sur les dernières cartes mères, les cartes IPMI prennent désormais en charge l'attribution d'un VLAN à la carte réseau IPMI, de sorte que vous puissiez obtenir un semblant de séparation - mais le système d'exploitation sous-jacent pourrait toujours renoncer au trafic de ce VLAN. Les contrôleurs de BMC plus anciens ne permettent pas de changer le toutVLAN du tout, bien que des outils tels que IPMITOOL ou IPMICFG vous permettront de le changer, cela ne fonctionne tout simplement pas.
- Vous centralisez vos points d'échec sur le système. Faire la configuration sur un commutateur et gérer pour vous couper en quelque sorte? Félicitations, vous avez maintenant coupé la connexion réseau principale à votre serveur et à la sauvegarde via IPMI. NIC Matériel échoue? Félicitations, même problème.
- Les premiers BMC de Supermicro IPMI étaient notoires de faire des choses qui fonctionnent bien avec l'interface réseau. Qu'il s'agisse d'utiliser le port IPMI intégré vs dédié a été souvent déterminé à la mise sous tension (pas de redémarrage) et ne togmise pas de là. Si vous aviez une panne de courant et que votre commutateur n'a pas fourni de puissance suffisamment rapidement, vous pourriez vous retrouver avec l'IPMI omettant de fonctionner car il a rétabli le mauvais réglage.
- J'ai personnellement eu beaucoup de problèmes de connectivité étranges et inexplicables à obtenir de manière fiable l'IPMI de bande latérale. Parfois, je ne pouvais tout simplement pas ping l'interface IP pendant quelques minutes. Parfois, j'aurais une tempête de paquets sur le VLAN assigné, mais le trafic a tous semblé être abandonné.
Bien que cela n'a rien à voir avec Sideband-vs.-dédié, je constaterai également que les outils d'accès à des systèmes hôtes sont très mal écrits. Les cartes IPMI plus anciennes ne prennent en charge rien d'autre que l'authentification locale, ce qui rend la rotation du mot de passe une douleur totale. Si vous utilisez la fonctionnalité KVM-Over-IP, vous êtes coincé à l'aide d'une applet Java ou d'une application bizarre Java de bureau qui fonctionne uniquement sur Windows et nécessite une élévation de l'UAC à courir. J'ai trouvé l'entrée du clavier pour être hébergée au mieux, ce qui signifie parfois "touches bloquées" de manière à ce qu'il soit impossible de taper un mot de passe pour se connecter sans essayer 10 fois.
J'ai finalement réussi à obtenir plus de 40 systèmes travaillant avec cet arrangement. J'ai surtout des systèmes plus récents que je pourrais VLAN les interfaces IPMI sur un sous-réseau séparé, et j'utilise principalement la console série via IPMITOOL qui fonctionne très bien. Pour la prochaine génération de serveurs, je regarde Technologie AMT d'Intel avec KVM support ; Comme cela le rend dans l'espace du serveur, je peux voir remplacer IPMI avec ceci.
Je n'ai pas utilisé ces cartes particulières auparavant, celles que j'ai utilisées soit avoir un Mac différent pour le trafic IPMI ou le port est dédié au trafic IPMI uniquement. Il pourrait être possible que IPMI partage le NIC y compris le Mac cependant.
IPMI aura une adresse IP différente du système d'exploitation, de sorte que les paquets seront correctement dirigés en fonction de cela. Le trafic IPMI ne frappe jamais la CPU, tout est traité dans les ICS de gestion latérales.
Je voulais ajouter aux conseils généraux que l'utilisation de bande latérale signifie que vous ne pouvez pas parler du serveur au BMC. Le trafic semble être filtré. J'ai essayé ceci sur IBM/Dell/HP Kit.
Je sauve la balle finale de Natacados dans sa réponse initiale, vos sessions IPMI Timeout au hasard (j'utilise IPMiview de SuperMicro pour regarder la console sur mes boîtes). Des choses comme des mises à niveau du micrologiciel et des powercycles semblent échouer inexplicablement et aléatoire.
Grande réponse Natacado, incroyablement approfondie.