[Beowulf] Varying performance across identical cluster nodes.
Christopher Samuel
samuel at unimelb.edu.au
Wed Sep 13 17:21:19 PDT 2017
On 14/09/17 03:48, Prentice Bisbal wrote:
> What software configuration, either a kernel a parameter, configuration
> of numad or cpuspeed, or some other setting, could affect this?
Hmm, how about diff'ing "sysctl -a" between the systems too?
Does one load new CPU microcode in whereas another doesn't?
Still curious to know if there are any major differences between dmesg
between the boxes.
For monitoring CPU settings I tend to use "cpupower monitor", here's an
example from one of our SandyBridge boxes.
# cpupower monitor
|Nehalem || SandyBridge || Mperf
PKG |CORE|CPU | C3 | C6 | PC3 | PC6 || C7 | PC2 | PC7 || C0 | Cx | Freq
0| 0| 0| 0.00| 0.00| 0.00| 0.00|| 0.00| 0.00| 0.00|| 99.98| 0.02| 3100
0| 1| 1| 0.00| 0.00| 0.00| 0.00|| 0.00| 0.00| 0.00|| 99.98| 0.02| 3100
0| 2| 2| 0.00| 0.00| 0.00| 0.00|| 0.00| 0.00| 0.00|| 99.98| 0.02| 3099
0| 3| 3| 0.00| 0.00| 0.00| 0.00|| 0.00| 0.00| 0.00|| 99.98| 0.02| 3100
0| 4| 4| 0.00| 0.00| 0.00| 0.00|| 0.00| 0.00| 0.00|| 99.98| 0.02| 3100
0| 5| 5| 0.00| 0.00| 0.00| 0.00|| 0.00| 0.00| 0.00|| 99.99| 0.01| 3100
0| 6| 6| 0.00| 0.00| 0.00| 0.00|| 0.00| 0.00| 0.00|| 99.98| 0.02| 3100
0| 7| 7| 0.00| 0.00| 0.00| 0.00|| 0.00| 0.00| 0.00|| 99.98| 0.02| 3100
1| 0| 8| 0.00| 0.00| 0.00| 0.00|| 0.00| 0.00| 0.00|| 99.99| 0.01| 3100
1| 1| 9| 0.00| 0.00| 0.00| 0.00|| 0.00| 0.00| 0.00|| 99.99| 0.01| 3100
1| 2| 10| 0.00| 0.00| 0.00| 0.00|| 0.00| 0.00| 0.00|| 99.99| 0.01| 3100
1| 3| 11| 0.00| 0.00| 0.00| 0.00|| 0.00| 0.00| 0.00|| 99.99| 0.01| 3099
1| 4| 12| 0.00| 0.00| 0.00| 0.00|| 0.00| 0.00| 0.00|| 99.99| 0.01| 3100
1| 5| 13| 0.00| 0.00| 0.00| 0.00|| 0.00| 0.00| 0.00|| 99.99| 0.01| 3100
1| 6| 14| 0.00| 0.00| 0.00| 0.00|| 0.00| 0.00| 0.00|| 99.99| 0.01| 3099
1| 7| 15| 0.00| 0.00| 0.00| 0.00|| 0.00| 0.00| 0.00|| 99.99| 0.01| 3100
...and for a Haswell box:
[root at snowy001 ~]# cpupower monitor
|Nehalem || Mperf
PKG |CORE|CPU | C3 | C6 | PC3 | PC6 || C0 | Cx | Freq
0| 0| 0| 0.00| 0.00| 0.00| 0.00|| 99.94| 0.06| 2503
0| 1| 1| 0.00| 0.00| 0.00| 0.00|| 99.94| 0.06| 2503
0| 2| 2| 0.00| 0.00| 0.00| 0.00|| 99.94| 0.06| 2503
0| 3| 3| 0.00| 0.00| 0.00| 0.00|| 99.94| 0.06| 2503
0| 4| 4| 0.00| 0.00| 0.00| 0.00|| 99.94| 0.06| 2503
0| 5| 5| 0.00| 0.00| 0.00| 0.00|| 99.94| 0.06| 2503
0| 6| 6| 0.00| 0.00| 0.00| 0.00|| 99.95| 0.05| 2503
0| 7| 7| 0.00| 0.00| 0.00| 0.00|| 99.94| 0.06| 2503
0| 8| 8| 0.00| 0.00| 0.00| 0.00|| 99.94| 0.06| 2503
0| 9| 9| 0.00| 0.00| 0.00| 0.00|| 99.94| 0.06| 2503
0| 10| 10| 0.00| 0.00| 0.00| 0.00|| 99.94| 0.06| 2503
0| 11| 11| 0.00| 0.00| 0.00| 0.00|| 99.94| 0.06| 2503
0| 12| 12| 0.00| 0.00| 0.00| 0.00|| 99.94| 0.06| 2503
0| 13| 13| 0.00| 0.00| 0.00| 0.00|| 99.94| 0.06| 2503
0| 14| 14| 0.00| 0.00| 0.00| 0.00|| 99.94| 0.06| 2503
0| 15| 15| 0.00| 0.00| 0.00| 0.00|| 99.94| 0.06| 2503
1| 0| 16| 0.00| 0.00| 0.00| 0.00|| 99.94| 0.06| 2503
1| 1| 17| 0.00| 0.00| 0.00| 0.00|| 99.58| 0.42| 2503
1| 2| 18| 0.00| 0.00| 0.00| 0.00|| 99.94| 0.06| 2503
1| 3| 19| 0.00| 0.00| 0.00| 0.00|| 99.58| 0.42| 2503
1| 4| 20| 0.00| 0.00| 0.00| 0.00|| 99.94| 0.06| 2503
1| 5| 21| 0.00| 0.00| 0.00| 0.00|| 99.57| 0.43| 2503
1| 6| 22| 0.00| 0.00| 0.00| 0.00|| 99.94| 0.06| 2503
1| 7| 23| 0.00| 0.00| 0.00| 0.00|| 99.57| 0.43| 2503
1| 8| 24| 0.00| 0.00| 0.00| 0.00|| 99.94| 0.06| 2503
1| 9| 25| 0.00| 0.00| 0.00| 0.00|| 99.58| 0.42| 2503
1| 10| 26| 0.00| 0.00| 0.00| 0.00|| 99.95| 0.05| 2503
1| 11| 27| 0.00| 0.00| 0.00| 0.00|| 99.58| 0.42| 2503
1| 12| 28| 0.00| 0.00| 0.00| 0.00|| 99.95| 0.05| 2503
1| 13| 29| 0.00| 0.00| 0.00| 0.00|| 99.57| 0.43| 2503
1| 14| 30| 0.00| 0.00| 0.00| 0.00|| 99.94| 0.06| 2503
1| 15| 31| 0.00| 0.00| 0.00| 0.00|| 99.58| 0.42| 2503
cheers,
Chris
--
Christopher Samuel Senior Systems Administrator
Melbourne Bioinformatics - The University of Melbourne
Email: samuel at unimelb.edu.au Phone: +61 (0)3 903 55545
More information about the Beowulf
mailing list