<br><div class="gmail_extra"><br><br><div class="gmail_quote">2012/11/12 Vincent Diepeveen <span dir="ltr"><<a href="mailto:diep@xs4all.nl" target="_blank">diep@xs4all.nl</a>></span><br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Problem is not the infiniband NIC's. </blockquote><div><br></div><div>Yes it is. You have to flash the device firmware in order for the BIOS to recognize it as a bootable device.</div><div><br></div><div>Yes your a bit screwed for booting over IB but booting over 1GE is perfectly acceptable. 1GE bit rate is not 1000 miles away for a single disk drive performance anyway. (100MB/s or so). A lot of the clusters I have put together were 1GE connected for boot and management.</div>
<div><br></div><div>Typically not very much is written to the local disk once the node has booted anyway. A few logs here and there. As you have an IB connection you dont have to worry about it.</div><div><br></div><div>You might want to consider iSCSI. This is supported by the open gPXE project. You can set up a LUN per server.</div>
<div><br></div><div>Ta</div><div><br></div><div>Andrew</div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">You need a motherboard with a<br>

bios fixed to boot infiniband over PXE, that's all.<br>
So you need to contact Supermicro to fix the bios if it doesn't boot<br>
them, if they would be willing to do that.<br>
<br>
On Nov 12, 2012, at 1:56 PM, Duke Nguyen wrote:<br>
<br>
> On 11/12/12 7:05 PM, Vincent Diepeveen wrote:<br>
>> You can boot over PXE using normal network cables and boot over<br>
>> the gigabit ethernet using a cheap ethernet<br>
>> router.<br>
><br>
> Thanks Vincent. Yes we gonna try that with a gigabyte hub. Just<br>
> wonder anyone has other experience, for example PXE Boot on this<br>
> link <a href="http://ulm.ccc.de/hg/pxeboot/raw-annotate/8c54643186a9/src/" target="_blank">http://ulm.ccc.de/hg/pxeboot/raw-annotate/8c54643186a9/src/</a><br>
> drivers/net/mlx_ipoib/doc/README.boot_over_ib. This PXEBoot lists<br>
> our cards as supported.<br>
><br>
> D.<br>
<div class="HOEnZb"><div class="h5">><br>
>><br>
>> On Nov 12, 2012, at 12:33 PM, Duke Nguyen wrote:<br>
>><br>
>>> Hi folks,<br>
>>><br>
>>> We are still on the way of building our first small-cluster.<br>
>>> Right now<br>
>>> we have 16 diskless nodes 8GB RAM on X7DWT-INF and a master also on<br>
>>> X7DWT-INF with 120GB disk and 16GB RAM. These boards (X7DWT-INF) has<br>
>>> built-in Infiniband Card (Infiniband MT25204 20Gbps Controller),<br>
>>> and I<br>
>>> hoped that we can create a boot server on the master node for the 16<br>
>>> clients using IB connection.<br>
>>><br>
>>> Unfortunately after reading, I found out that our built-card is<br>
>>> too old<br>
>>> for Mellanox FlexBoot:<br>
>>><br>
>>> $ lspci -v | grep Mellanox<br>
>>> 08:00.0 InfiniBand: Mellanox Technologies MT25204 [InfiniHost III Lx<br>
>>> HCA] (rev 20)<br>
>>>      Subsystem: Mellanox Technologies MT25204 [InfiniHost III Lx<br>
>>> HCA]<br>
>>><br>
>>> whereas FlexBoot requires at least Connect2X-3X to work with.<br>
>>><br>
>>> My questions are:<br>
>>><br>
>>>   * any body using the same (or similar main boards) and was able to<br>
>>> boot using PXE?<br>
>>>   * if PXE server with Infiniband is impossible, then it is OK<br>
>>> with a<br>
>>> gigabyte connection? Or should we go for 16 disks for these 16<br>
>>> clients<br>
>>> and dont care much on boot over IB or IP? (more money, of course)<br>
>>><br>
>>> Thanks,<br>
>>><br>
>>> D.<br>
>>> _______________________________________________<br>
>>> Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org">Beowulf@beowulf.org</a> sponsored by Penguin<br>
>>> Computing<br>
>>> To change your subscription (digest mode or unsubscribe) visit<br>
>>> <a href="http://www.beowulf.org/mailman/listinfo/beowulf" target="_blank">http://www.beowulf.org/mailman/listinfo/beowulf</a><br>
>><br>
>><br>
><br>
<br>
_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" target="_blank">http://www.beowulf.org/mailman/listinfo/beowulf</a><br>
</div></div></blockquote></div><br></div>