web-dev-qa-db-fra.com

Comment craquer la limite de 1 Gbit ISCSI entre ESXI et VNXE

Je reçois de gros problèmes avec mon réseau ISCSI et je ne peux pas sembler le faire fonctionner aussi vite que possible.

J'ai donc essayé à peu près tout pour accomplir une performance complète de mon San, après avoir impliqué des spécialistes de VMware et EMC.

Une brève description de mon équipement: 3x HP DL360 G7/vSphere 5.5/4 PCIE Intel Nics pour ISCSI 2X HP 2510-24G 1X EMC VNXE 3100/2 Processeurs de rangement, chacun avec 2 ISCSI DÉDIÉ NICS/24X 15K SAS RAID10/6X 7.2K SAS raid6

Je suis allé les meilleures pratiques et j'ai placé les pools de stockage uniformément sur les deux serveurs ISCSI. J'ai créé 2 serveurs ISCSI, un sur chaque processeur de stockage. S'il vous plaît voir l'image pour ma configuration iSCSI.

iSCSI configuration

le trafic ISCSI est séparé via VLAN (interdit défini pour d'autres VLANS), je l'ai même essayé avec un autre commutateur HP de la série 29XX. Le contrôle de flux est activé (également l'a essayé désactivé), Jumbo est désactivé. Il n'y a pas de routage impliqué.

Sur les hôtes ESX, tous les nics ISCSI sont utilisés car j'ai utilisé le réglage rond robin pour chaque magasin de données. Je l'ai également essayé avec une politique de changement de chemin de 1 IO Comme tant d'autres semblent avoir acquis une performance de cette façon. J'ai essayé aussi les Nics internes (Broadcom), mais il n'y a pas de différence. Sur les commutateurs, je peux voir que les ports sont utilisés très uniformément, le côté ESX et le côté VNXE. J'ai un équilibre parfait de la charge, cependant: je ne peux pas passer au total 1 GBIT au total. Je comprends que le VNXE est optimisé pour plusieurs connexions et Round Robin en a besoin aussi, mais même lorsque je fais une vmotion de stockage entre 2 hôtes et 2 datatsores (à l'aide de différents serveurs ISCSI), je peux voir une ligne droite autour de 84 Mbit/s via Unisphere webinterface. Je peux voir cette ligne si souvent exactement la même valeur que je ne peux pas croire que mes disques ne produiraient pas plus ou que les tâches ne nécessitent pas assez. Cela devient encore mieux: avec un seul câble sur chaque hôte et chaque processeur de stockage que je donne la même performance. J'ai donc eu beaucoup de redondance mais pas de vitesse supplémentaire du tout.

Comme je l'ai vu de nombreuses personnes parlent de leurs performances ISCSI, je suis désespérément désespérément de savoir ce qui ne va pas avec ma configuration (qui a été testé et vérifié par des personnes formées de VMware et EMC). Je suis reconnaissant pour chaque opinion!

ÉDITER:

Oui, j'ai configuré VMotion pour utiliser plusieurs NICS. En outre, Storage Vmotion passe toujours dans les adaptateurs ISCSI, pas les adaptateurs VMotion. J'ai joint des captures d'écran de ma configuration.

iSCSI Port binding

iSCSI Destinations

iSCSI Paths

Je sais que le stockage vmotion n'est pas une référence, mais je devais faire beaucoup de cela ces derniers jours et la limite supérieure a toujours été à environ 80 Mo/s. Une piscine de 6x 15k 600 GB SAS Les disques de RAID 10 devraient facilement être capables de mettre beaucoup plus loin, ne pensez-vous pas? J'ai fait un test de mètre IO pour vous - essayé certains d'entre eux, le plus rapide était de 256 kib 100% lu. J'ai 64,45 Mo/s - mon unité d'infiltration montre aussi la même vitesse. C'est dans un VM qui est stocké sur une piscine de 6x 15k 300 GB SAS (RAID 10) qui presque toute autre activité cette heure de la journée.

IO Meter

Unisphere

EDIT2:

Désolé pour les noms d'utilisateur en double, mais j'ai écrit cette question au travail et cela n'a pas utilisé mon nom d'utilisateur, je suis déjà arrivé au débordement des stocks. Cependant, voici la capture d'écran montrant mes paramètres de Round Robin. C'est la même chose sur tous les hôtes et tous les magasins.

Round Robin

vmware-esxivmware-vsphereiscsiemc-vnxe
15
Ryan Hardy

Créez une règle SATP pour le fournisseur de stockage nommé EMC, définissez la stratégie de chemin comme ROUND ROBINE et IOPS de 1000 à 1. Cela sera persisté à travers les redémarrages et à tout moment une nouvelle LUN ISCSI EMC est présentée, cette règle sera prise en charge. Pour cela, demandez aux Luns EMC ISCSI existants, redémarrez l'hôte.

esxcli storage nmp satp rule add --satp="VMW_SATP_DEFAULT_AA" \
  --vendor="EMC" -P "VMW_PSP_RR" -O "iops=1"

J'ai joué avec la modification des iops entre 1 et 3 et trouver le meilleur sur un seul VM. Cela dit, si vous avez beaucoup de vm et beaucoup de données de données, 1 ne peut pas être optimal ...

Assurez-vous d'avoir chaque interface sur le VNXE défini sur 9000 MTU. De plus, le vswitch avec vos interfaces ISCSI doit être réglé sur 9 000 MTU avec chaque VMKernel. Sur votre VNXE, créez deux serveurs ISCSI - un pour spa et un pour SPB. Associez une adresse IP pour chaque initialement. Ensuite, affichez les détails de chaque serveur ISCSI et ajoutez des IP supplémentaires pour chaque interface active par sp. Cela vous donnera la performance rond-robine que vous recherchez.

Ensuite, créez à deux magasins de données minimaux. Associez un magasin de données avec ISCSiserver-spa et un avec ISCSiserver-SPB. Cela garantira que l'un de vos SP n'est pas assis là au ralenti.

Enfin, toutes les interfaces du côté ESX utilisé pour ISCSI devraient accéder à un vswitch distinct avec toutes les interfaces comme active. Cependant, vous voudrez un vmkernel pour chaque interface du côté ESX au sein de celui désigné VSWITCH. Vous devez remplacer la commande de basculement VSWITCH pour chaque VMKernel d'avoir un adaptateur actif et tous les autres inutilisés. Ceci est mon script de déploiement que j'ai utilisé pour l'approvisionnement des hôtes ESX. Chaque hôte dispose d'un total de 8 interfaces 4 pour LAN et 4 pour le trafic ISCSI/VMOTION.

  1. Effectuer ci-dessous la configuration

une. # DNS ESXCLI Network IP DNS Recherche Ajouter --Domaine = Mydomain.net

eSXCLI Network IP DNS Server Ajouter --Server = x.x.x.x

eSXCLI Network IP DNS Server Ajouter --Server = x.x.x.x

b. # Définir la mise à jour de nom d'hôte en conséquence

sETNAME SYSTÈME SYSTÈME ESXCLI --HOST = SERVER1 --DOMAIN = MYDOMAIN.NET

c. # Ajouter mon addition montante à VSWITCH0 ESXCLI Network VSWITCH Standard KINKLINK Ajouter --Uplink-Nom = VMNIC1 --VSWITCH-NAME = VSWITCH0

eSXCLI Network Vswitch Standard Remink Ajouter --Unlink-Nom = VMNIC4 --VSWITCH-NAME = VSWITCH0

eSXCLI Network VSWITCH Standard Remink Ajouter --Uplink-Nom = VMNIC5 --VSWITCH-NAME = VSWITCH0

ré. # Créer VSWITCH1 pour le stockage et définir MTU sur 9000

eSXCLI Network VSWITCH Standard Add --VSwitch-Nom = vswitch1

eSXCLI Network vswitch Standard Set --Vswitch-Nom = vswitch1 --MTU = 9000

e. # Ajouter mon jailleux à vswitch1

eSXCLI Network VSWITCH Standard Standard Remink Ajouter --Unlink-Nom = VMNIC2 --VSWITCH-NAME = VSWITCH1

eSXCLI Network vswitch Standard Remink Ajouter --Uplink-Nom = VMNIC3 --VSWITCH-NAME = VSWITCH1

eSXCLI Network Vswitch Standard Remink Add -Uplink-Nom = VMNIC6 --VSWITCH-NAME = VSWITCH1

eSXCLI Network VSWITCH Standard Remink Ajouter --Uplink-Nom = VMNIC7 --VSWITCH-NAME = VSWITCH1

f. # Ensemble actif NIC pour vswitch0

eSXCLI Network Vswitch Standard Standard Standard Set Set --Vswitch-Nom = vswitch0 --Active-Uplinks = VMNIC0, VMNIC1, VMNIC4, VMNIC5

g. # Set actif NIC pour vswitch1

eSXCLI Network VSwitch Standard Standard Set de basculement Set --Vswitch-Nom = vswitch1 - Active-uplinks = VMNIC2, VMNIC3, VMNIC6, VMNIC7

h. # Créer des groupes de ports pour iSCSI et VMKernels pour ESX01 non EXX02

eSXCLI Network vswitch Standard Portgroup Add --Ptgroup-name = iscsi-vmnic2 --vswitch-name = vswitch1

eSXCLI Network Interface IP Add --Interface-Nom = VMK2 --PROUPGROUP-NAME = ISCSI-VMNIC2 --MTU = 9000

eSXCLI Network Interface IP IPv4 Set --Interface-Name = VMK2 --iPv4 = 192.158.50.152 --NETMASK = 255.255.255.0 --Ttype = statique

vIM-CMD HostSVC/VMOTION/VIK_SET VMK2

eSXCLI Network VSWITCH Standard Portgroup Add Ajouter --Ptgroup-Nom = ISCSI-VMNIC3 --VSWITCH-NAME = VSWITCH1

eSXCLI Network Interface IP ADD --Interface-Name = VMK3 --PROUPGROUP-NAME = ISCSI-VMNIC3 --MTU = 9000

eSXCLI Network Interface IP IPv4 Set --Interface-Name = VMK3 --iPv4 = 192.158.50.153 --Netmask = 255.255.255.0 --Ttype = statique

vIM-CMD HostSVC/VMOTION/VNIC_SET VMK3

eSXCLI Network vswitch Standard Portgroup Ajouter --Ptgroup-name = iscsi-vmnic6 --vswitch-name = vswitch1

eSXCLI Network IP Interface IP Ajouter --Interface-Nom = VMK6 --PortGroup-Name = ISCSI-VMNIC6 --MTU = 9000

eSXCLI Réseau Interface IP IPv4 Set IPv4 -Interface-Name = VMK6 --iPv4 = 192.158.50.156 --Netmask = 255.255.255.0 --Ttype = statique

vIM-CMD HostSVC/VMOTION/VIK_SET VMK6

eSXCLI Network VSWITCH Standard Portgroup Add --Ptgroup-Nom = ISCSI-VMNIC7 --VSWITCH-NAME = VSWITCH1

eSXCLI Network Interface IP Ajouter --Interface-Name = VMK7 --PROUPE-NAME = ISCSI-VMNIC7 --MTU = 9000

eSXCLI Network Interface IP IPv4 Set IPv4 -Inter-Name = VMK7 --iPv4 = 192.158.50.157 --netmask = 255.255.255.0 --Ttype = statique

vIM-CMD HostSVC/VMOTION/VNIC_SET VMK7

je. # Créer des groupes de ports pour ISCSI et VMKernels pour ESX02 NOT ESX01

eSXCLI Network vswitch Standard Portgroup Add --Ptgroup-name = iscsi-vmnic2 --vswitch-name = vswitch1

eSXCLI Network Interface IP Add --Interface-Nom = VMK2 --PROUPGROUP-NAME = ISCSI-VMNIC2 --MTU = 9000

eSXCLI Network Interface IP IPv4 Set --Interface-Name = VMK2 --iPv4 = 192.168.50.162 --netmask = 255.255.255.0 --Ttype = statique

vIM-CMD HostSVC/VMOTION/VIK_SET VMK2

eSXCLI Network VSWITCH Standard Portgroup Add Ajouter --Ptgroup-Nom = ISCSI-VMNIC3 --VSWITCH-NAME = VSWITCH1

eSXCLI Network Interface IP ADD --Interface-Name = VMK3 --PROUPGROUP-NAME = ISCSI-VMNIC3 --MTU = 9000

eSXCLI Network Interface IP IPv4 Set --Interface-Name = VMK3 --iPv4 = 192.168.50.163 --netmask = 255.255.255.0 --Ttype = statique

vIM-CMD HostSVC/VMOTION/VNIC_SET VMK3

eSXCLI Network vswitch Standard Portgroup Ajouter --Ptgroup-name = iscsi-vmnic6 --vswitch-name = vswitch1

eSXCLI Network IP Interface IP Ajouter --Interface-Nom = VMK6 --PortGroup-Name = ISCSI-VMNIC6 --MTU = 9000

eSXCLI Network IP Interface IPv4 Set iPv4 -Interface-name = VMK6 --iPv4 = 192.168.50.166 --NETMASK = 255.255.255.0 --Ttype = statique

vIM-CMD HostSVC/VMOTION/VIK_SET VMK6

eSXCLI Network VSWITCH Standard Portgroup Add --Ptgroup-Nom = ISCSI-VMNIC7 --VSWITCH-NAME = VSWITCH1

eSXCLI Network Interface IP Ajouter --Interface-Name = VMK7 --PROUPE-NAME = ISCSI-VMNIC7 --MTU = 9000

eSXCLI Network Interface IP IPv4 Set --Interface-Name = VMK7 --iPv4 = 192.168.50.167 --netmask = 255.255.255.0 --Ttype = statique

vIM-CMD HostSVC/VMOTION/VNIC_SET VMK7

j. # Set actif NIC pour chaque ISCSI VMKernel

eSXCLI Network VSWITCH Standard Portgroup Standard Système de basculement --Pgroup-name = ISCSI-VMNIC2 --Active-Uplinks = VMNIC2

eSXCLI Network VSWITCH Standard Standard Portgroup Policy Set de basculement --Pgroup-name = ISCSI-VMNIC3 --Active-Uplinks = VMNIC3

eSXCLI Network Vswitch Standard Portgroup Standard Système de basculement --Pgroup-name = ISCSI-VMNIC6 - Active-Boundlinks = VMNIC6

eSXCLI Network Vswitch Standard Standard Portgroup Policy Set de basculement --Pgroup-name = ISCSI-VMNIC7 --Active-Uplinks = VMNIC7

k. # créer des groupes de ports

eSXCLI Network Vswitch Standard Portgroup Add Ajouter --Ptgroup-name = VMNetwork1 --vswitch-name = vswitch0

eSXCLI Network Vswitch Standard Portgroup Add --Ptgroup-Nom = VMNetwork2 --vswitch-Nom = vswitch0

eSXCLI Network vswitch Standard Portgroup Ajouter --Ptgroup-name = vmnetwork3 --vswitch-name = vswitch0

l. # Set VLAN à VM Groupes de port

eSXCLI Network vswitch Standard Portgroup Set -P VMNetwork1 --Vlan-ID ##

eSXCLI Network vswitch Standard Portgroup Set -P VMNetwork2 --Vlan-ID ##

eSXCLI Network VSWITCH STANDARD PORTGROUP SET -P VMNETWORK3 --VLAN-ID ###

m. # Supprimer la valeur par défaut VM Portgroup

eSXCLI Network VSWITCH Standard Portgroup Supprimer --Ptgroup-name = "réseau VM" -v = vswitch0

n. # Activer l'adaptateur logiciel ISCSI

eSXCLI ISCSI Software Set --Enabled = True

eSXCLI ISCSI NetworkPortal Ajouter -A VMHBA33 -N VMK2

eSXCLI ISCSI NetworkPortal Ajouter -a VMHBA33 -N VMK3

eSXCLI ISCSI NetworkPortal Ajouter -a VMHBA33 -N VMK6

eSXCLI ISCSI NetworkPortal Ajouter -a VMHBA33 -N VMK7

oe. # renommer le magasin de données local

nom d'hôte> $ var =

vIM-CMD HostSVC/DataStore/Rename DataSore1 local -$var

p. Plug-in #Define Native Multi Path Type de stockage pour EMC Vnxe 3300 et Tune Round-Robin iops de 1000 à 1

eSXCLI Storage NMP SATP Rule Ajouter --SatP = "vmw_satp_default_aa" --vendor = "EMC" -P "vmw_psp_rr" -o "iops = 1"

q. # rafraîchir la mise en réseau

eSXCLI Network Firewall Actualiser

vIM-CMD HostSVC/Net/Actualiser

  1. Configurer NTP Client à l'aide du client VSphere pour chaque hôte

une. Configuration -> Configuration du temps -> Propriétés -> Options -> NTP Paramètres -> Ajouter -> NTP.MYDOMAIN.NET -> Vérifier "Redémarrer NTP Service à appliquer des modifications "-> OK -> wait ... -> Sélectionnez" Démarrer et arrêter avec l'hôte "-> OK -> Cochez" Client NTP activé -> OK

  1. Redémarrer l'hôte

  2. Procédez avec le provisioning de stockage EMC VNXE, retour à ce guide lorsque vous remplissez

  3. Connectez-vous à VSphere Client par hôte

  4. Mise à niveau de chaque magasin de données sur VMFS-5

une. Configuration -> Stockage -> Mettez en surbrillance DataStore -> Mise à niveau vers VMFS-5

1
Robert Margeson