| 1.1, Аноним (1), 23:03, 23/03/2024 [ответить] [﹢﹢﹢] [ · · · ]
| +7 +/– |
Не могу понять как файловая система может называться кластерной если "File locking is not supported". Расходимся.
| | |
| |
| |
| 3.5, Аноним (5), 01:02, 24/03/2024 [^] [^^] [^^^] [ответить]
| +1 +/– |
Жиденькое оправдание. У NFS сетевой лок отключается опцией монтирования.
| | |
|
| 2.34, Всем Анонимам Аноним (?), 15:31, 24/03/2024 [^] [^^] [^^^] [ответить]
| +1 +/– |
Что интересно, это что как раз автор и сказал, что существующие проекты не подошли ему тем, что не по настоящему FS у них были
| | |
| 2.39, Всем Анонимам Аноним (?), 17:03, 24/03/2024 [^] [^^] [^^^] [ответить]
| +/– |
Если вчитаться, то там много файлов тоже нельзя хранить пока. Оно сделано в основном чтобы подключить VMWare с большими image файлами
| | |
| |
| 3.40, Antilles (?), 17:59, 24/03/2024 [^] [^^] [^^^] [ответить]
| +1 +/– |
Ну вот с этой версии как раз можно не только к VMware подключать, но и просто к хостам как CephFS
| | |
| 3.53, нах. (?), 16:53, 25/03/2024 [^] [^^] [^^^] [ответить]
| +/– | |
но... э.. у вмвари собственная sds. И - что характерно - не экспериментальная и работает.
| | |
| |
| 4.69, vitalif (ok), 23:38, 25/03/2024 [^] [^^] [^^^] [ответить]
| +/– |
 > но... э.. у вмвари собственная sds. И - что характерно - не
> экспериментальная и работает.
и стоит мешок бабла
| | |
| |
| 5.83, нах. (?), 01:43, 26/03/2024 [^] [^^] [^^^] [ответить]
| +/– | |
Те кто купили вмварь с extended support - даже и не заметят этот "мешок" (к тому же на фоне железа опять же - ни о чем)
А покупка непонятного нечта от непонятных васянов всегда оборачивается в десятки раз дороже.
| | |
|
|
|
|
| 1.2, Васян из васяна (?), 23:26, 23/03/2024 [ответить] [﹢﹢﹢] [ · · · ]
| +4 +/– |
"Basically, you can't use the software in a proprietary environment to provide its functionality to users without opensourcing all intermediary components standing between the user and Vitastor or purchasing a commercial license from the author 😀."
| | |
| |
| 2.7, нах. (?), 01:24, 24/03/2024 [^] [^^] [^^^] [ответить]
| –1 +/– | |
Basically, you can't use the software in a proprietary environment.
Вот тут надо было и остановиться. Суть не изменилась, и меньше писанины.
| | |
| |
| 3.9, Аноним (5), 01:32, 24/03/2024 [^] [^^] [^^^] [ответить]
| +2 +/– |
То есть вариант purchasing a commercial license from the author товарищЪ Н.И. Щук принципиально не рассматривает?
Ну да, куда ж ему.
| | |
| |
| 4.10, нах. (?), 01:37, 24/03/2024 [^] [^^] [^^^] [ответить]
| +/– | |
Конечно нет - кому нужна коммерческая лицензия на неведомое г-но, используемое непонятными дол..е..ми?
Ну ждите, ждите, к вам бегом в очередь побегут с мешками денег. (нет)
| | |
| |
| 5.14, Аноним (5), 02:57, 24/03/2024 [^] [^^] [^^^] [ответить]
| +3 +/– | |
> Конечно нет - кому нужна коммерческая лицензия на неведомое г-но, используемое непонятными дол..е..ми?
История продаж компании Microsoft говорит, что много кому.
| | |
| |
| 6.17, Аноним (17), 05:16, 24/03/2024 [^] [^^] [^^^] [ответить]
| +/– | |
> История продаж
Именно что история. Как у этого продукта с историей? Есть чем похвастаться? Может быть, какие-то клиенты большие есть? Большие деплои? Нет? Ну тогда за свои деньги я лучше у Майкрософта куплю.
| | |
| |
| 7.36, Аноним (5), 16:16, 24/03/2024 [^] [^^] [^^^] [ответить]
| –1 +/– | |
> Как у этого продукта с историей? Есть чем похвастаться? Может быть, какие-то клиенты большие есть? Большие деплои?
У мелкософта всё это есть, но стали ли от этого его продукты менее г?
То-то и оно.
| | |
| 7.49, Аноним (49), 11:58, 25/03/2024 [^] [^^] [^^^] [ответить]
| +/– |
>> История продаж
> Именно что история.
А если это не для продаж, а для личного развития.
| | |
| |
| 8.56, Аноним (17), 20:46, 25/03/2024 [^] [^^] [^^^] [ответить] | +/– | Ты действительно думаешь, что кому-то кроме тебя интересен твой локалхост Тут у... текст свёрнут, показать | | |
|
| 7.64, Аноним (64), 22:36, 25/03/2024 [^] [^^] [^^^] [ответить]
| +/– |
Достаточно много внедрений.
Просто СХД — самая консервативная область в ИТ инфраструктуре, там не меняют архитектуру хранилища только потому, что у менеджера левая пятка зачесалась.
Поэтому никому в голову не приходит бодро рапортовать.
| | |
|
|
|
|
|
|
| 1.13, Аноним (13), 02:40, 24/03/2024 [ответить] [﹢﹢﹢] [ · · · ]
| +3 +/– |
Гениально. Вот бы Линус Торвальдс так запретил использовать ядро Linux в свое время...
| | |
| |
| 2.18, penetrator (?), 08:50, 24/03/2024 [^] [^^] [^^^] [ответить]
| +1 +/– |
возможно тогда я бы сейчас не писал с нота под линухой, а жрал бы какую-нибудь вендузятину
| | |
| |
| 3.20, нах. (?), 10:13, 24/03/2024 [^] [^^] [^^^] [ответить]
| +/– | |
Не, ну ноут-то с 6ешплатное-взять-взять ты бы мог использовать (насчет стабильности работы правда... ну вон некоторые пользуются даже openbsd, как-то оно работает)
А я вот точно админил бы винду и винду. Ну может реееедко какой солярис или даже может быть выжила бы SCO. Но там желающих было бы в сто раз больше чем вакансий (как оно и было в 90е) да и тем бы приходилось периодически ковыряться в IIS.
| | |
|
| 2.19, kvaps (ok), 09:02, 24/03/2024 [^] [^^] [^^^] [ответить]
| +/– |
 > Вот бы Линус Торвальдс так запретил использовать ядро Linux в свое время...
Он ярый противник GPL3 и предпочитает GPL2
| | |
| |
| 3.26, Аноним (-), 12:13, 24/03/2024 [^] [^^] [^^^] [ответить]
| +1 +/– |
Не надо перевирать. Линукс не ярый противник GPL3. Ему говорили: "Переведи ядро на GPL3". Он отвечал типа, "Отстань, замолкни, остановись. Да, есть проблема тивоизации, но всё же нет ничего лучше GPL2". Его слова свидетельствуют. что он не ярый противник, просто он хочет чтобы его не доставали с вопросами о лицензии.
| | |
| |
| 4.38, Аноним (38), 16:20, 24/03/2024 [^] [^^] [^^^] [ответить]
| +/– |
Самая главная проблема там, это то, что ядро под GPLv2 без плюса. А это значит, что обязаны получить согласие ото всех, чьи патчи когда-либо были приняты в ядро. Что, по понятным причинам, нереально.
| | |
| |
| 5.44, _ (??), 00:45, 25/03/2024 [^] [^^] [^^^] [ответить]
| –1 +/– | |
>Самая главная проблема там, это то, что ядро под GPLv2 без плюса.
И без передачи прав дяде.
И это единственное почему толстячки ваш линукс никак не могут выкупить, но вон анонишка от этого имеет анальную боль.
А CPL c плюсом ... уже забыли как мозолееда выпнули на роль вахтера с его же фонда? :)
А потом ВНЕЗАПНА!(C) GPL4 окажется буква в букву равна MS EULA ... что скажете фантастика? А вы посмотрите чего делалось за последние лет 20 - и не такое оказалось вполне себе возможным. За 100% прибыли нет такого преступления (С)
| | |
|
| |
| 5.45, _ (??), 00:46, 25/03/2024 [^] [^^] [^^^] [ответить]
| +/– |
Он просто занет что с ними делать (С) Порудчик
| | |
|
|
|
|
| |
| |
| 3.37, Аноним (5), 16:17, 24/03/2024 [^] [^^] [^^^] [ответить]
| +1 +/– |
Указанный в статье оператор с прошлого лета не подаёт признаков жизни.
| | |
| 3.43, vitalif (ok), 23:54, 24/03/2024 [^] [^^] [^^^] [ответить]
| +1 +/– |
ответить на скрытый коммент не могу. в общем, оператор используется в проде, возможно код на гитхабе не обновлён, но он используется. по поводу оператора залетайте в тг чатик @vitastor и тыкайте @antillles-а, он и обновит
| | |
|
|
| 1.27, YetAnotherOnanym (ok), 12:25, 24/03/2024 [ответить] [﹢﹢﹢] [ · · · ]
| –1 +/– |
 > Идея VNPL - расширение действия копилефта не только на модули, явным образом связываемые с кодом, а также на взаимодействующие с Vitastor по сети сервисы, специально созданные для него
В переводе на общепонятный: если ты - маленький стартап, вся ценность которого в оригинальном коде, то ты должен бесплатно отдать его корпам.
| | |
| |
| |
| 3.31, нах. (?), 13:58, 24/03/2024 [^] [^^] [^^^] [ответить] | –2 +/– | нету Очередь желающих занести вам мешок денег за вторую опцию уже выстроилась ... большой текст свёрнут, показать | | |
| |
| 4.42, vitalif (ok), 23:08, 24/03/2024 [^] [^^] [^^^] [ответить]
| +/– | |
Ну выберут и выберут, можно подумать с GPL встали бы в очередь)
Завоевать популярность в любом случае дело небыстрое, зато не придется потом, как Redis, лицензию менять, провоцируя негатив и форки
| | |
| |
| 5.47, нах. (?), 09:54, 25/03/2024 [^] [^^] [^^^] [ответить] | +/– | В очередь нет, на покрутить-поиграться - взяли бы, наверное черная метка русск... большой текст свёрнут, показать | | |
|
|
|
| 2.32, нах. (?), 14:01, 24/03/2024 [^] [^^] [^^^] [ответить]
| +/– | |
ценности этот пучок скриптов для корпов не представляет никакой. Но он ценность для хакеров, желающих тебя поломать, и для конкурентов, потому что из этих скриптов легко извлекается понимание, какие юз-паттерны успешны, как устроена твоя внутренняя инфра и много чего еще.
Короче, пользователей на этих условиях будет вот ровно ноль.
| | |
|
| 1.46, Tron is Whistling (?), 08:37, 25/03/2024 [ответить] [﹢﹢﹢] [ · · · ]
| +1 +/– |
Если нет поддержки блокировок - это всё.
Для реального кластера - OCFS2, других вариантов не особо.
В пределах одной стойки ещё GFS2 можно пробовать.
| | |
| |
| 2.48, нах. (?), 09:58, 25/03/2024 [^] [^^] [^^^] [ответить]
| +/– | |
> Если нет поддержки блокировок - это всё.
это еще не все, напоминаю - https://lizardfs.com/wp-content/uploads/Cases/Tinkoff_case_study.pdf - как думаешь, им нужны блокировки? И ниче, купили. (но не ту поделку) Правда, им и на latency наплевать.
Поделка сразу после покупки, кстати, склеила ласты. Видимо парни неплохо отоварились деньгами тогда еще не внесенного в SDN банчка, и разбежались кто куда.
И да, заметь - они - gpl. (но не совсем) Много форков видишь?
| | |
| 2.50, Аноним (49), 12:02, 25/03/2024 [^] [^^] [^^^] [ответить]
| –1 +/– | |
> Если нет поддержки блокировок - это всё.
Вернее: если не предусмотрено место, в которое можно добавить код нужной функциональности. (Сырцы не читал, не знаю.)
| | |
| |
| 3.51, нах. (?), 13:06, 25/03/2024 [^] [^^] [^^^] [ответить]
| +/– | |
извините, пройдите на-й
никто за авторов не будет ничего добавлять. Потому что есть-то за себя они собираются - сами.
| | |
| 3.61, Tron is Whistling (?), 22:10, 25/03/2024 [^] [^^] [^^^] [ответить]
| +/– | |
Тут всё гораздо хуже: если нет блокировок, значит необходимая для них синхронизация отсутствует. Естественно при этом latency никакая, но и синхронизироваться нечем, и кеш не когерентный, и вообще смысла нет, потому что в т.н. "кластерной" FS в файл можно при этом можно писать только с одной ноды, причём очень аккуратно - чтобы никто ещё в этот момент не читал и не писал. По сути в такой конфигурации с каждым отдельным файлом можно либо "только на чтение" со всех нод, либо только "всё с одной", и такой кластер - мертворождённый труп.
Чтобы её нагородить - надо очень сильно об угол стукнуться, в общем случае придётся делать свой DLM или интегрироваться в существующий кластерный стек. Первое - очень непросто, второе ставит крест на latency и простоте использования, ещё и STONITH понадобится.
| | |
| |
| 4.65, Tron is Whistling (?), 22:36, 25/03/2024 [^] [^^] [^^^] [ответить]
| +/– |
Там смотрю оно через NFS вывернуто. То есть в качестве обеспечения когерентности выбран сброс кеша при открытии и проверку атрибутов? Если так - то даже блокировки уже не помогут.
| | |
| |
| 5.68, vitalif (ok), 23:34, 25/03/2024 [^] [^^] [^^^] [ответить]
| +/– |
Хм, ну да, единственный трабл это page cache конечно. Ну типа если писать-читать из NFS с O_DIRECT, то когерентность будет. А там случайно нет в линуксовом NFS опции чтобы принудительно всем direct включить?.. :-)
| | |
| |
| 6.70, Tron is Whistling (?), 23:41, 25/03/2024 [^] [^^] [^^^] [ответить]
| +/– |
И даже с O_DIRECT может не быть когерентности, потому что кто-то решил почитать после записи с другой ноды, но запись ещё не долетела и другие ноды о записи не проинформированы. Будет stale read. Всё это придётся синхронизировать, в т.ч. информировать ноды о записи.
| | |
| |
| 7.71, Tron is Whistling (?), 23:42, 25/03/2024 [^] [^^] [^^^] [ответить]
| +/– |
- Нода A прочитала блок, он попал в кеш
- Нода Б отправила блок на запись, он попал в буфер и ждёт пока его реально пропишут в сторейдж
- Нода A снова читает блок - УПС
| | |
| 7.72, vitalif (ok), 23:42, 25/03/2024 [^] [^^] [^^^] [ответить]
| +/– | |
Не, если пишут и читают с O_DIRECT, то всё железобетонно синхронно будет, по крайней мере если кэш дисков отключён (immediate_commit=all). Т.к. любая завершённая запись уже точно будет на всех OSD, и любое последующее чтение пойдёт на эти же OSD и оттуда данные прочитает
"попала в буфер" - что за буфер, у меня нет никакого такого буфера. А на дисках предполагается по дефолту отрубать кэш и юзать ssd с конденсаторами
| | |
| 7.73, Tron is Whistling (?), 23:44, 25/03/2024 [^] [^^] [^^^] [ответить]
| +/– | |
С O_DIRECT блок в теории должен уйти сразу в сторейдж, но тут будут нюансы с задержками для пересылки на OSD, если в этот момент кто-то решит почитать - он с OSD получит всё такой же старый лежалый блок.
Т.е. синхронизировать ноды надо в момент появления записи.
| | |
|
| 6.75, Tron is Whistling (?), 23:56, 25/03/2024 [^] [^^] [^^^] [ответить]
| +/– | |
Ну и да, какой ещё O_DIRECT в NFS?
Синхронизация "в лоб" выглядит следующим образом (есть более хитрые способы):
- Все ноды обмениваются информацие об открытиях файлов
- Видим запись на одной из нод, видим, что файл открыт ещё где-то
- Информируем все остальные ноды, открывшие файл (если первый пункт пропустить - вообще все ноды, а это тормоза), о том, что блок X файла Y взят на запись нодой N
- В этот момент - кто не спрятался, я не виноват, ноды могут ещё прочесть старое, разрешено, стрижка только начата - вот тут как раз и нужны блокировки
- Все проинформированные ноды при прочих попытках чтения этого блока встают колом и ждут продолжения банкета
- Новые ноды, открывающие файлы, принимаются, но информируются об in-flight записи блока
- Производим запись
- Уведомляем писавшего об успехе
- Информируем все участвовавшие в трындеце ноды и новые появившиеся о том, что запись блока завершена
- Проинформированные ноды сбрасывают кеш блока, те, что пытались его читать - выдыхают, и начинают читать
Как быть с блокировками, и чем они страшны
- Если взята эксклюзивная блокировка файла на запись, к счастью, никто читать блок не попытается, но механизм выше всё равно должен быть, так как блокировки банально нестрогие, и у нас могут быть ноды, которые всё равно попытаются читать. Но наличие таких можно отследить по запросам на блокировку - те, что встали колом на попытке взять прочую блокировку - можно проинформировать только о конце записи, чтобы кеш сбросили, можно даже оптом по всем блокам после снятия эксклюзива - тут как раз целое поле непаханое для оптимизации
| | |
| |
| 7.82, vitalif (ok), 00:21, 26/03/2024 [^] [^^] [^^^] [ответить]
| +/– | |
O_DIRECT с NFS пашет, я проверял. Причём что забавно - даже с невыровненными блоками :-).
А с блокировками - насколько я понял из man 5 nfs, там сам NFS-клиент кэш сбросит за тебя, если ты блокировки юзаешь. Но там же и написано про O_DIRECT:
If absolute cache coherence among clients is required, applications should use file locking. Alternatively, applications can also open their files with the O_DIRECT flag to disable data caching entirely.
| | |
|
|
|
|
|
| 2.52, vitalif (ok), 15:57, 25/03/2024 [^] [^^] [^^^] [ответить]
| +/– | |
Да запилю я эти блокировки, фиг ли там делать :) - etcd же есть под рукой
Просто мне не казалось что это первый приоритет честно говоря
| | |
| |
| 3.59, Tron is Whistling (?), 22:04, 25/03/2024 [^] [^^] [^^^] [ответить]
| +/– |
В кластерной FS блокировки не приоритет?
Офигенный кластер, синхронизироваться-то как?
С навесу?
Вот когда все блокировки добавятся - вот тогда можно и latency померить.
Особенно на те самые блокировки.
| | |
| |
| 4.66, vitalif (ok), 23:20, 25/03/2024 [^] [^^] [^^^] [ответить]
| +1 +/– | |
Что ты собрался синхронизировать локами? Назови практическое применение. Что это за приложение? Мне из практики только dovecot maildir в голову приходит.
Типичному HPC софту, например, нужна ReadWriteMany ФС, но синхронизация там в 99% случаев своя, через какую-то стороннюю БД. Что там реально нужно от ФС - это чтобы изменения, внесённые в файл одной нодой, СРАЗУ после этого были видны другой ноде. Т.е. strong consistency при монтировании на нескольких нодах. Это у меня есть. *единственно прочитал коммент выше про когерентность кэша в NFS - да, наверное, на файлах, открытых без O_DIRECT, она будет только через перепроверку mtime/сtime, т.е. на уровне порядка 1 секундной задержки при изменении.
| | |
| |
| 5.78, Tron is Whistling (?), 00:00, 26/03/2024 [^] [^^] [^^^] [ответить]
| +/– |
Когерентность без локов оптимизировать очень сложно.
Это надо либо всем слать всё чтение и запись в обход кеша, либо придётся вообще все ноды информировать при каждой записи, даже те, что вообще файл читать не собираются. Либо держать и синхронизировать список открывших, но и там возможны нюансы. Вот хочет нода читать и ждёт shared, а писатель взял exclusive. Сразу понятно, кому и что вещать насчёт сброса кеша.
| | |
| 5.79, Tron is Whistling (?), 00:03, 26/03/2024 [^] [^^] [^^^] [ответить]
| +/– |
dovecot - это одно из самых страшных применений блокировок кстати, малейший продолб при параллелизме, и всё, его сторейдж будет так или иначе порушен, что maildir, что mdbox
| | |
|
|
| 3.62, Tron is Whistling (?), 22:11, 25/03/2024 [^] [^^] [^^^] [ответить]
| +/– |
Вообще в любом нормальном кластере приоритет - именно сихронизация.
Но раз не первый, так не первый, лучше не трогать.
| | |
|
|
| 1.54, Golangdev (?), 17:02, 25/03/2024 [ответить] [﹢﹢﹢] [ · · · ]
| +/– | |
> VNPL - "сетевой копилефт", собственная свободная копилефт-лицензия Vitastor Network Public License 1.1, основанная на GNU GPL 3.0 с дополнительным условием "Сетевого взаимодействия", требующим распространять все программы, специально разработанные для использования вместе с Vitastor и взаимодействующие с ним по сети, под лицензией VNPL или под любой другой свободной лицензией.
При всём уважении к автору, это "не айс" - точно не поспособствует развитию экосистемы.
Открою ужасную правду, - когда не хочется сдавать(ся) хранилище в облако, используют Minio. Тут такое API есть ?
| | |
| |
| 2.55, vitalif (ok), 18:14, 25/03/2024 [^] [^^] [^^^] [ответить]
| +/– | |
> Открою ужасную правду, - когда не хочется сдавать(ся) хранилище в облако, используют Minio. Тут такое API есть ?
Вы только Minio из S3-совместимых хранилок знаете? :-) так-то это самая слабая реализация из всех доступных
| | |
| |
| 3.63, Golangdev (?), 22:24, 25/03/2024 [^] [^^] [^^^] [ответить]
| +/– | |
Я бы сказал, в тезх компаниях где я работал/работаю - используется S3-совместимое Minio, когда нужно похранить файлы.
Другие решения, не смотря на то, что они существуют в природе - не используются.
| | |
| |
| 4.67, vitalif (ok), 23:25, 25/03/2024 [^] [^^] [^^^] [ответить]
| +/– | |
На самом деле я не делал S3 в начале тоже ровно потому, что нормальные S3-хранилки есть и без меня. Ceph, SeaweedFS как минимум, а кому-то и Minio действительно достаточно.
А вот хороших БЛОЧНЫХ хранилок не было. У всех латенси на уровне 1-2 мс т.е. при записи с глубиной очереди 1 (например при записи WAL СУБД) это всего 500-1000 операций в секунду.
Поэтому в первую очередь на блочке и сосредоточился.
В качестве второго приоритета взял ФС, т.к. кластерных ФС нормальных тоже считай нет. Самое лучшее что было это пожалуй CephFS, но и у неё много проблем, начиная с очень большого оверхеда и отсутствия горизонтального масштабирования MDS. Ну и в HPC популярна люстра, но с ней задолбаешься и отказоустойчивость там специфическая я так понимаю.
| | |
|
|
|
| 1.94, igsbox (??), 12:11, 26/03/2024 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
А что все так сагрились на отсутствие блокировок? ФС явно предназначена для замены iSCSI в тех конфигурациях, когда среда виртуализации не имеет коннектора к хранилке для создания/удаления/снапшота lun-ов и view. Упростит ли она жизнь в таком варианте? Безусловно. Насколько реально оправдано существование подобного комбайна? Ну а вдруг оно кому-то надо ;)
То, что автор явно поторопился назвать свежий релиз полноценной кластерной ФС - ну так может ему контракт какой подписать надо. Добрее надо быть к людям )
| | |
| |
| 2.95, vitalif (ok), 22:15, 26/03/2024 [^] [^^] [^^^] [ответить]
| +/– |
Не, там 2 фс, одна псевдо, реально замена айсказей, вторая нормальная, в которую можно файлопомойку пихать
| | |
|
|
