> стандарт де факто, как ни странно, эзернет.Не "де-факто", а "де-недорого".
> IB слишком дорогой, особоенно если делать большой кластер,
Не туда смотрите. Если требуется RDMA или низкая латентность по другим поводам, ethernet может оказаться слишком дорогим (потому что суммарное время простоя всех недешёвых узлов). Если типичный характер взаимодействия таков, что обмен данными ближе к пакетному -- может хватить и гигабита, а некоторым так и вообще домашних DSL.
А на большом кластере с IB заметна даже разница в задержках по стеклу между соседними стойками или через ползала.
> и имеет некоторые проблемы масштабирования.
И какие же у IB проблемы масштабирования по сравнению с ethernet? Его ж необязательно в fat tree вязать.