VIO servers load balancing question

[fbergenh]

Hi,

I have a question about vio servers and load balancing disk IO.

One of our customers uses Dell Compellent storage for their AIX environment (AIX 7.1 TL 2 lpar's on top of 2 VIO servers).
Luns are created on the Compellent and mapped to the VIO cluster (cluster consists of both VIO servers).

We wanted to do some load balancing, so we changed the settings of the disks to round_robin and used the preferred_path settings in an effort to distribute the disks across both VIO Servers.
For example: hdisk10 (datavg lpar1) should go over VIO101, hdisk11 (datavg lpar2) should go over VIO102, hdisk12 (datavg lpar3) should go over VIO101 etc etc.

When I look at the iostat output of both VIO's, this is not happening:

VIO102:

# iostat

Disks:        % tm_act     Kbps      tps    Kb_read   Kb_wrtn               
hdisk10          0.0     378.7       2.4   7542686904  2261091660               
hdisk11          0.2      38.3       2.6   386778250  606002840               
hdisk12          1.6     402.7      16.2   9810416791  614337780               
hdisk14          0.0     312.3       1.7   6145926462  1938487404               
hdisk15          0.1      22.8       1.3   220667752  370738800               
hdisk16          1.1     306.7      10.7   7644036388  295809984               
hdisk17          0.8     102.6       2.6   587854284  2067990844               
hdisk18          0.0      91.1       0.5   1755823998  603845624               
hdisk19          0.0       8.5       0.4   94330904  125532140               
hdisk20          0.5      95.7       2.9   2376107656  102280084               
hdisk22          0.0      36.9       0.2   623294502  331616640               
hdisk23          0.0       0.4       0.0    2903795   6670576               
hdisk24          0.1      25.9       0.3   654358732  16786080               
hdisk25          0.0     408.3       2.8   7806584918  2763471914               
hdisk26          0.2      60.3       3.7   595698572  965166652               
hdisk27          1.5     485.3      20.8   11858302536  705942496               
hdisk29          0.0     493.1       2.3   9737952030  3026869872               
hdisk30          0.2      66.9       4.1   655517504  1077030658               
hdisk31          1.8     538.9      23.3   13145273768  805129684               
hdisk33          0.0      29.6       0.2   581089086  185449368               
hdisk34          0.0       0.8       0.1   11577728   9978256               
hdisk35          0.1      41.7       0.7   811392651  267689672               
hdisk36          0.2      80.2       1.4   316880552  1759531632               
hdisk37          0.7     122.5       2.4   559831992  2611574740               
hdisk38          0.0      26.5       0.4   59076072  627394792               
hdisk39          0.2      75.3       1.3   323161807  1626449628               
hdisk6           0.0       2.9       0.3   27342112  48412816               


VIO101:

# iostat

Disks:        % tm_act     Kbps      tps    Kb_read   Kb_wrtn               
hdisk10          0.0       0.0       0.0          0         0               
hdisk11          0.0       0.0       0.0          0         0               
hdisk12          0.0       0.0       0.0          0         0               
hdisk14          0.0       0.0       0.0          0         0               
hdisk15          0.0       0.0       0.0          0         0               
hdisk16          0.0       0.0       0.0          0         0               
hdisk17          0.0       0.0       0.0          0         0               
hdisk18          0.0       0.0       0.0          0         0               
hdisk19          0.0       0.0       0.0          0         0               
hdisk20          0.0       0.0       0.0          0         0               
hdisk22          0.0       0.0       0.0          0         0               
hdisk23          0.0       0.0       0.0          0         0               
hdisk24          0.0       0.0       0.0          0         0               
hdisk25          0.0       0.0       0.0          0         0               
hdisk26          0.0       0.0       0.0          0         0               
hdisk27          0.0       0.0       0.0          0         0               
hdisk29          0.0       0.0       0.0          0         0               
hdisk30          0.0       0.0       0.0          0         0               
hdisk31          0.0       0.0       0.0          0         0               
hdisk33          0.0       0.0       0.0          0         0               
hdisk34          0.0       0.0       0.0          0         0               
hdisk35          0.0       0.0       0.0          0         0               
hdisk36          0.0       0.0       0.0          0         0               
hdisk37          0.0       0.0       0.0          0         0               
hdisk38          0.0       0.0       0.0          0         0               
hdisk39          0.0       0.0       0.0          0         0               
hdisk6           0.0       0.0       0.0          0         0               

Do we miss something? By the way: VIO servers are running ios 2.2.1.0 on AIX 6.1 TL7

Thanks again,
Frank van Bergenhenegouwen

[fbergenh]

According to IBM, we missed the fact that standard MPIO isn't able to do something else than failover.

For round robin/load balancing, we need to use NPIV and the Dell PCM driver.

[Michael]

Been a while since I have been looked at VSCSI and load balancing. The "classic" way to do load balanacing with vscsi was/is to alternate the primary interfaces - lpar1 to vio1, lpar2 to vio2 - and backup/failover adapters to the other vio.

This sort of fell out of favor as LPM usage grew and this manual "pathing" was not guaranteed to continue after a LPM move.

Lastly, if you are going to use round_robin primary/secondary path should not be needed - as you are using all paths all the time.

And an easy way to see if you are getting the desired effect is to open nmon and look at the adapter throughput - both at LPAR level and/or at VIO level.