TUNING STOCKAGE ISCSI
Ceci est une question canonique sur ISCSI que nous pouvons utiliser comme référence.
iSCSI est un protocole qui met les commandes SCSI en tant que charge utile dans TCP paquets de réseau. En tant que tel, il est soumis à un autre jeu de problèmes que, par exemple, Fibre Channel. Par exemple, si un lien obtient Les tampons encombrés et les tampons du commutateur sont pleins, Ethernet verrouillera, par défaut, des cadres de chute au lieu de dire à l'hôte de ralentir. Cela conduit à des retransmissions qui conduisent à une grande latence pour une très petite partie du trafic de stockage.
Il existe des solutions pour ce problème, en fonction du système d'exploitation client, y compris la modification des paramètres réseau. Pour la liste suivante de l'OSS, quelle serait une configuration optimale du client ISCSI? Cela impliquerait-il de modifier les paramètres sur les commutateurs? Qu'en est-il du stockage?
- VMware 4 et 5
- Windows Hyper-V 2008 & 2008R2
- Windows 2003 et 2008 sur le métal nu
- Linux sur métal nu
- Aix Vio
- Tout autre système d'exploitation à penser serait pertinent
Je ne connais pas VMware, mais j'utilise Xenserver et j'ai utilisé Hyper-V (R2).
Avec ma configuration actuelle XenServer, j'ai:
- 8 serveurs Dell PowerEdge 29xx
- 2 commutateurs Dell PowerConnect 6248
- 2 dell md3000i SAN (ISCSI)
J'ai configuré mes commutateurs dans une configuration multipathe et optimisée pour ISCSI par:
- Séparant mes commutateurs en 3 VLAN (2 pour le trafic ISCSI et 1 pour la gestion)
- Utilisation de jumboframes
- Appliquer les optimisations "ISCSI" que le PowerConnect a
Chaque serveur dispose de plusieurs cartes réseau pour fournir une connexion à chaque commutateur, à son tour, fournir une redondance via le multithèse entre les serveurs et l'ISCSI SAN. Les VLAN ISCSI ne contiennent aucun autre trafic que ISCSI.
Je suis heureux de signaler avec cette configuration, le "cluster" Xenserver fonctionne brillamment.
Sur une note latérale, j'ai un serveur Windows 2008 connecté directement par ISCSI à un HP SAN (ancien serveur de fichiers). Il utilisait Windows 2003 et déposerait régulièrement la connexion (même après que Une réinstallation de 2003); Cependant, dès que j'ai mis à niveau vers Windows 2008, il reste connecté.
Je serai heureux de répondre à n'importe quelle question sur ma configuration.
Ce n'est pas une réponse ... encore. C'est le cadre de la réponse générique. Si vous avez du temps, veuillez remplir tout ce que vous savez. En ce qui concerne la configuration de matériel spécifique, veuillez publier une réponse distincte pour chaque fournisseur afin que nous puissions garder ces informations organisées et séparées.
Profil Qos des ports et désactivant le contrôle des tempêtes, configurant MTU sur 9000, allumant le contrôle de flux et mettre les ports en ports
Débit et latence
Firmware, pilotes et autres systèmes mis à jour
Mpio
Cadres Jumbo/MTU
Au fur et à mesure que la vitesse des liaisons réseau augmente, le nombre de paquets potentiellement générés augmente également. Cela donne de plus en plus de temps de CPU/interruption consacré à la génération de paquets qui a pour effet de générer indûment le système de transmission et de prendre une quantité excessive de bande passante de liaison avec un encadrement.
Les cadres soi-disant "jumbo" sont des cadres Ethernet qui dépassent la limite canonique de 1518 octets. Bien que les chiffres puissent varier en fonction des fournisseurs de commutateurs, des systèmes d'exploitation et des cartes NIC Les tailles de paquets Jumbo les plus typiques sont de 9 000 et 9216 octets (ce dernier étant le plus courant). Étant donné qu'environ 6x, les données peuvent être placées dans une trame de 9K, le nombre de paquets réels (et d'interruptions) est réduit par une quantité similaire sur l'hôte. Ces gains sont particulièrement prononcés sur des liens de vitesse supérieure (i.e. 10ge) qui envoient de gros volumes de données (c'est-à-dire ISCSI).
Activation des cadres Jumbo nécessite la configuration de l'hôte et du commutateur Ethernet et des soins considérables doivent être pris avant la mise en œuvre. Plusieurs directives devraient être suivies.
1.) Dans un segment Ethernet donné (VLAN), tous les hôtes et routeurs doivent avoir le même MTU configuré. Un périphérique sans configuration appropriée verra des images plus grandes comme des erreurs de liaison (spécifiquement des "géants") et les déposera.
2.) Dans le protocole IP, deux hôtes avec différentes tailles de trame ont besoin de mécanisme pour négocier une taille de trame commune appropriée. Pour TCP Ceci est la découverte du chemin MTU (PMTU) et repose sur la transmission des paquets inaccessibles ICMP. Assurez-vous que la PMTU est activée sur tous les systèmes et que les règles de ACL ou de pare-feu permettent à ces paquets.
Contrôle de flux Ethernet (802.3x)
Bien qu'il soit recommandé par certains fournisseurs ISCSI, le contrôle de flux Ethernet simple 802.3x devrait non être activé dans la plupart des environnements, à moins que tous les ports de commutation, les NIC et les liens sont - totalement dédié au trafic iSCSI et rien d'autre. S'il y a un autre trafic sur les liens (tels que SMB ou partage de fichiers NFS, cardiaques pour le stockage en regroupement ou VMware, NIC Trafic de contrôle/de surveillance, etc.) Simple 802.3x La commande de flux devrait non peut être utilisée car elle bloque des ports entiers et un autre trafic non ISCSI sera également bloqué. Les gains de performance de la commande de flux Ethernet sont souvent minimes ou inexistants, une comparaison réaliste de réalAssc doit être effectuée sur l'ensemble des combinaisons OS/Nic/Commutateur/Stockage/STOCKESSEMENT étant considérées pour déterminer s'il y a un avantage réel.
La question réelle d'une perspective de serveurs est la suivante: puis-je arrêter le trafic réseau si mon NIC ou réseau est envahi par ou puis-je commencer à supprimer et à retransmettre des paquets? Tourner la commande de flux sur la commande permettra de vider les tampons NIC _ _ _ à être vidé du côté récepteur mais insufflera les tampons du côté de l'expéditeur (normalement un périphérique réseau sera tampon ici).
Contrôle de congestion TCP (RFC 5681)
TOE (moteurs de déchargement TCP/IP)
iSOE (moteurs de déchargement iSCSI)
LSO (Segmentation TCP/Large Send Offload)
Isolement du réseau
Une meilleure pratique commune pour l'ISCSI est d'isoler les initiateurs et les cibles d'un autre trafic de réseaux de non-stockage. Cela offre des avantages en termes de sécurité, de gestion et, dans de nombreux cas, dédicace des ressources au trafic de stockage. Cet isolement peut prendre plusieurs formes:
1.) Isolement physique - Tous les initiateurs ont une ou plusieurs NIC dédiées uniquement au trafic ISCSI. Cela peut ou peut non-impliquer du matériel réseau dédié en fonction des capacités du matériel en question et des exigences de sécurité et d'exploitation spécifiques au sein d'une organisation donnée.
2.) Isolement logique - surtout trouvé dans les réseaux plus rapides (I.E. 10GE), les initiateurs ont VLAN marquage (voir 802.1q) configuré pour séparer le trafic de stockage et de stockage.
Dans de nombreuses organisations, des mécanismes supplémentaires sont utilisés pour également assurer que les initiateurs ISCSI ne peuvent pas se joindre à ces réseaux dédiés et que, outre, ces réseaux dédiés ne sont pas accessibles à partir de réseaux de données standard. Les mesures utilisées pour accomplir ceci incluent les listes de contrôle d'accès standard, les VLAN privés et les pare-feu.
Quelque chose sur le fond de panney et le tissu de commutation ici aussi.
QoS (802.1P)
vLAN (802.1Q)
STP (RSTP, MSTP, etc.)
Suppression de la circulation (contrôle des tempêtes, contrôle multi/large)
Sécurité
Authentification et sécurité
TYPE
Ipsec
Cartographie LUN (meilleures pratiques)
Une certaine considération et des recherches à prendre subjectivement en ce qui concerne:
1) Multi-sentier - votre SAN SOLUTION ET VOTRE OS, IT Hypervisor ou Bare Metal OS peut nécessiter un logiciel spécifique du fournisseur pour que cela fonctionne correctement.
2) Initieurs - Vous devez déterminer si l'initiateur de logiciels suffit à des performances suffisantes en fonction des demandes. De nombreux NICS ont des capacités de déchargement ISCSI qui peuvent améliorer considérablement le débit, mais certains hyperviseurs plus âgés ont été connus pour être assez pissés avec eux soutiennent sage. Les offres plus matures (ESXI 4.1++) semblent bien placer.
3) Sécurité/Autorisations - Assurez-vous de vérifier pleinement que les initiateurs nécessitent un accès aux queues ... vous serez dans une mauvaise journée si un administrateur sur l'une de vos machines Windows effectue un "disque initial" sur un disque qui est vraiment utilisé par un autre serveur en tant que DataStore VMware.