Вариант для распечатки |
Пред. тема | След. тема | ||
Форум Разговоры, обсуждение новостей | |||
---|---|---|---|
Изначальное сообщение | [ Отслеживать ] |
"Эксперимент с использованием SQLite в качестве контейнера для архивирования файлов" | +/– | |
Сообщение от opennews (??), 25-Мрт-24, 12:51 | ||
Проект Pack предпринял попытку создания формата для архивирования файлов, построенного на базе библиотеки SQLite и алгоритма сжатия ZSTD (Zstandard). Подготовленный прототип, написанный на языке Pascal и распространяемый под лицензией Apache 2.0, обогнал по скорости создания архивов наиболее распространённые архиваторы, при том, что его работа сводилась к чтению данных, сжатию библиотекой libzstd и выполнению SQL-операций по добавлению сжатых данных в файл с БД SQLite... | ||
Ответить | Правка | Cообщить модератору |
Оглавление |
Сообщения | [Сортировка по времени | RSS] |
1. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +4 +/– | |
Сообщение от Guest (??), 25-Мрт-24, 12:51 | ||
А почему бы не исолпльзовать tar с zstd? Ну и для 7z где-то были эксперименты с zstd. | ||
Ответить | Правка | Наверх | Cообщить модератору |
56. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +2 +/– | |
Сообщение от Lui Kang (?), 25-Мрт-24, 19:07 | ||
Степени сжатия 7z можно достичь, используя xz, который по-умолчанию обычно уже есть в системе и tar умеет создавать tar.xz, а 7z потребует отдельной установки. xz и 7z оба используют алгоритм LZMA2 по умолчанию. Но если сравнивать что круче в одних и тех же условиях, zstd или LZMA2, то всегда зависит от самих файлов. | ||
Ответить | Правка | Наверх | Cообщить модератору |
95. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +1 +/– | |
Сообщение от _oleg_ (ok), 26-Мрт-24, 13:46 | ||
tar умеет создавать всё и всегда: tar -c .... | xz > file.txz | ||
Ответить | Правка | Наверх | Cообщить модератору |
105. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от гыгы (?), 28-Мрт-24, 14:00 | ||
тем временем: | ||
Ответить | Правка | Наверх | Cообщить модератору |
106. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от _oleg_ (ok), 28-Мрт-24, 15:16 | ||
> тем временем: | ||
Ответить | Правка | Наверх | Cообщить модератору |
109. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от гыгы (?), 03-Апр-24, 13:34 | ||
>> тем временем: | ||
Ответить | Правка | Наверх | Cообщить модератору |
110. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от _oleg_ (ok), 03-Апр-24, 13:40 | ||
>>> тем временем: | ||
Ответить | Правка | Наверх | Cообщить модератору |
111. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (111), 03-Апр-24, 15:26 | ||
Похвали, конечно. Трудно что ли? | ||
Ответить | Правка | Наверх | Cообщить модератору |
112. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от _oleg_ (ok), 03-Апр-24, 15:39 | ||
> Похвали, конечно. Трудно что ли? | ||
Ответить | Правка | Наверх | Cообщить модератору |
113. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от гыгы (?), 04-Апр-24, 11:19 | ||
>>>> тем временем: | ||
Ответить | Правка | К родителю #110 | Наверх | Cообщить модератору |
114. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от _oleg_ (ok), 16-Апр-24, 12:59 | ||
| ||
Ответить | Правка | Наверх | Cообщить модератору |
108. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от anonymous (??), 31-Мрт-24, 21:01 | ||
Это тоже самое. | ||
Ответить | Правка | К родителю #105 | Наверх | Cообщить модератору |
2. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +5 +/– | |
Сообщение от Аноним (2), 25-Мрт-24, 12:55 | ||
Победил 7z. Пофиг, что затратил 54.2 с, зато сильнее всех пожмакал. | ||
Ответить | Правка | Наверх | Cообщить модератору |
28. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +8 +/– | |
Сообщение от Аноним (28), 25-Мрт-24, 14:07 | ||
В современных реалиях быстрее будет чуть больше скачать, но быстрее распаковать | ||
Ответить | Правка | Наверх | Cообщить модератору |
53. "Эксперимент с использованием SQLite в качестве контейнера дл..." | –9 +/– | |
Сообщение от Аноним (53), 25-Мрт-24, 18:21 | ||
Да не факт! Вы что, из америки где "везде есть интернет, электричество и паркинг"?? Люди могут и на 8Мбит сидеть - им не нужны ГИГАБАЙТЫ инфы, которую кто-то никак не может сжать. | ||
Ответить | Правка | Наверх | Cообщить модератору |
75. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +1 +/– | |
Сообщение от tty0 (?), 25-Мрт-24, 23:23 | ||
Мы из России. Тут интернет плохой в небольших удаленных поселках. Но 1МБ/с -- это вообще вполне сносно и не напряжно в рамках дачного поселка в 30км от города. | ||
Ответить | Правка | Наверх | Cообщить модератору |
42. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +2 +/– | |
Сообщение от Аноним (42), 25-Мрт-24, 17:11 | ||
Сомнительное соотношение скорости сжатия к размеру файла и скорости скачивания. У меня 100 мегабит етхернета быстрее работает чем большинство флешек лет 10 назад. | ||
Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору |
60. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (60), 25-Мрт-24, 20:06 | ||
Тогда уж xz. Только там еще дольше) | ||
Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору |
62. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (62), 25-Мрт-24, 20:11 | ||
Там тот же lzma только в формате потока, поточные компрессоры всегда будут давать результат хуже архиватора и иметь меньшую гибкость, но например они позволяют сжать тарбол со всеми атрибутами в него сохранёнными. Конечно, 7z/rar тоже позволяют запаковать тарбол, но они являются архиваторами со своей по-файловой логикой и тут стоит проверить здоровье. | ||
Ответить | Правка | Наверх | Cообщить модератору |
61. "Эксперимент с использованием SQLite в качестве контейнера дл..." | –1 +/– | |
Сообщение от Аноним (62), 25-Мрт-24, 20:08 | ||
7z не дедуплицирует данные, поэтому годится только для маленьких и скучных наборов (без расширенных атрибутов, тегов, времени изменения/доступа и прочего подобного). А результат на пару килобайт лучше достигается совершенно дефективным форматом файла. | ||
Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору |
72. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от fuggy (ok), 25-Мрт-24, 22:46 | ||
Ему это не надо, он это умеет на уровне алгоритма словаря с параметром qs. Если словарь достаточного размера. Умеет атрибуты NTFS потоки. С атрибутами файла есть недостатки, потому что 7z не совсем из мира unix way. | ||
Ответить | Правка | Наверх | Cообщить модератору |
73. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (62), 25-Мрт-24, 22:50 | ||
Если словарь достаточного размера. Типичный архив в него не влезает, кроме того, ресурсов намного больше необходимо (и для упаковки и для распаковки) и в многопотоке прогрессия там не очень приятная. | ||
Ответить | Правка | Наверх | Cообщить модератору |
3. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (3), 25-Мрт-24, 12:58 | ||
Джипеги же жали, да?)) | ||
Ответить | Правка | Наверх | Cообщить модератору |
4. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от GhostX (?), 25-Мрт-24, 13:00 | ||
rar одного размера с zip? | ||
Ответить | Правка | Наверх | Cообщить модератору |
10. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +5 +/– | |
Сообщение от ануснимус (?), 25-Мрт-24, 13:14 | ||
Разный же! 253 и 235 Мб | ||
Ответить | Правка | Наверх | Cообщить модератору |
5. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (3), 25-Мрт-24, 13:04 | ||
В отрыве от возможностей в мейнстриме это всё весело, но довольно бессмысленно. | ||
Ответить | Правка | Наверх | Cообщить модератору |
14. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +2 +/– | |
Сообщение от человек (??), 25-Мрт-24, 13:19 | ||
С одной стороны соглашусь, с другой нет. SQLite поставляется во всех массовых дистрибутивах систем и языков программирования, и сделать возможность создания такого арзива достаточно легко и не требует наличия специфических зависимостей, так что жизнь у проекто точно возможна, но как мы знаем, это далеко даже не 25%. | ||
Ответить | Правка | Наверх | Cообщить модератору |
18. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +1 +/– | |
Сообщение от Аноним (18), 25-Мрт-24, 13:35 | ||
Скулайт он как питон, второй лучший вариант в любой сфере. Только тут задачи применимые к базе данных. Но всегда есть первый вариант. | ||
Ответить | Правка | Наверх | Cообщить модератору |
84. "Эксперимент с использованием SQLite в качестве контейнера дл..." | –1 +/– | |
Сообщение от Аноним (84), 26-Мрт-24, 02:38 | ||
>pickle поставляется во всех массовых дистрибутивах Python, и сделать возможность создания такого файла с сериализацией достаточно легко и не требует наличия специфических зависимостей | ||
Ответить | Правка | К родителю #14 | Наверх | Cообщить модератору |
54. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (53), 25-Мрт-24, 18:27 | ||
Тут нечего смотреть! Бенчи Сыкулита будут ±1% от того архиватора, который под капотом (на ЕДИНИЧНЫХ файлах). Главное - такой формат позволяет БЫСТРЫЙ доступ к любому файлу, что может быть полезно для каких-нть утилит синхронизации или просто "обновление бэкапа". | ||
Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору |
6. "Эксперимент с использованием SQLite в качестве контейнера дл..." | –1 +/– | |
Сообщение от Аноним (3), 25-Мрт-24, 13:06 | ||
Вообще они немножко опоздали, таких штук было уже навалом | ||
Ответить | Правка | Наверх | Cообщить модератору |
9. "Эксперимент с использованием SQLite в качестве контейнера дл..." | –1 +/– | |
Сообщение от YetAnotherOnanym (ok), 25-Мрт-24, 13:10 | ||
Душнила. Весь кайф поломал :D | ||
Ответить | Правка | Наверх | Cообщить модератору |
13. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +3 +/– | |
Сообщение от Аноним (13), 25-Мрт-24, 13:17 | ||
В новости речь про воссоздание архиватора на базе SQLite, а sqlite-zstd - дополнение для прозрачного сжатия записей в SQLite. | ||
Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору |
27. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (27), 25-Мрт-24, 13:47 | ||
Ну раз пошла такая пьянка ... https://codeberg.org/KOLANICH-libs/Cache.py | ||
Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору |
7. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (7), 25-Мрт-24, 13:09 | ||
жду реализации для http-статики =) в духе времени будет | ||
Ответить | Правка | Наверх | Cообщить модератору |
37. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +1 +/– | |
Сообщение от Алкоголизм (?), 25-Мрт-24, 15:02 | ||
Для веб-архивирования. Как раз есть аддон SingleFile, который выгружает все ресурсы страницы (стили/графику), и инлайнит её в html, кодируя в base64. И есть на его базе отдельный SingleFileZ, который формирует zip-архив, и аналогичным образом вкладывает в html-страницу вместе со скриптом на js для распаковки и рендера. | ||
Ответить | Правка | Наверх | Cообщить модератору |
97. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от fuggy (ok), 26-Мрт-24, 15:41 | ||
https://wiki.openzim.org/wiki/ZIM_file_format со сжатием, есть просмотрщики. При этом всё умно по категориям ресурсов распихивает, а не тупо в Base64 кодирует. | ||
Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору |
102. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от merv (?), 26-Мрт-24, 21:59 | ||
Только нет вменяемых средств создания. | ||
Ответить | Правка | Наверх | Cообщить модератору |
8. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +6 +/– | |
Сообщение от YetAnotherOnanym (ok), 25-Мрт-24, 13:09 | ||
> При сжатии каталога с 81 тысячей файлов, общим размером 1.25 ГБ, pack оказался быстрее утилиты ZIP в 112 раз, выполнив операцию за 1.3 секунды против 146 секунд у ZIP | ||
Ответить | Правка | Наверх | Cообщить модератору |
86. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (86), 26-Мрт-24, 09:06 | ||
То, что Pack оказался настолько быстрее Zip-а, конечно, подозрительно, но пусть (разные алгоритмы сжатия с многопоточность ю в Zstd и т.п.). Но то, что tar.gz с Deflate оказался в несколько раз быстрее, чем Zip с таким же Deflate (размер тарболла оказался даже несколько меньше, т.е. дело явно не в разных степенях сжатия), лично для меня является более серьёзным аргументом в пользу неправильно проведённого теста. | ||
Ответить | Правка | Наверх | Cообщить модератору |
11. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +5 +/– | |
Сообщение от Аноним (11), 25-Мрт-24, 13:15 | ||
"тест с zip был запущен при холодном кэше, а остальные тесты при прогретом" | ||
Ответить | Правка | Наверх | Cообщить модератору |
16. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +1 +/– | |
Сообщение от Аноним (62), 25-Мрт-24, 13:27 | ||
Чтобы дропнуть кэши надо записать 1 байт в специальный файл, очень сложно. Да и в чёрной-чёрной консоли, очень страшно! У нас тут дружелюбный паскаль. Но вообще, без указания версий и параметров это ни о чём. Поразительно низкое качество подачи материала, тот случай, когда со дна постучали. | ||
Ответить | Правка | Наверх | Cообщить модератору |
25. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +2 +/– | |
Сообщение от тоже Аноним (ok), 25-Мрт-24, 13:44 | ||
Это очень важный пункт эксперимента. | ||
Ответить | Правка | К родителю #11 | Наверх | Cообщить модератору |
30. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (-), 25-Мрт-24, 14:15 | ||
Не на то смотришь. Если в намеренных данных не указаны ни доверительные интервалы, ни дисперсия, то не данные и были, кто-то просто нарисовал цифры от балды. Если есть, то следующий этап -- это исходные данные, на которых считались статистики или скрипт, который эти данные получает. Либо это есть, и вот тогда можно подумать над результатами статистики и как-то интерпретировать их, либо этого нет, тогда думать не о чем. | ||
Ответить | Правка | Наверх | Cообщить модератору |
44. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (44), 25-Мрт-24, 17:22 | ||
Хорошо хоть что сами дали себе явную оценку в тестах. Хотя по результата и так ясно что авторы в полном неадеквате | ||
Ответить | Правка | К родителю #25 | Наверх | Cообщить модератору |
12. Скрыто модератором | +/– | |
Сообщение от Аноним (12), 25-Мрт-24, 13:16 | ||
Ответить | Правка | Наверх | Cообщить модератору |
15. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +2 +/– | |
Сообщение от Аноним (15), 25-Мрт-24, 13:24 | ||
Разве это не просто альтернативная реализация идеи https://www.sqlite.org/sqlar/doc/trunk/README.md ? | ||
Ответить | Правка | Наверх | Cообщить модератору |
17. "Эксперимент с использованием SQLite в качестве контейнера дл..." | –4 +/– | |
Сообщение от Аноним (18), 25-Мрт-24, 13:32 | ||
Скулайт итак мало для чего пригоден, так он теперь ещё и плохой архиватор. | ||
Ответить | Правка | Наверх | Cообщить модератору |
19. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +1 +/– | |
Сообщение от Аноним (12), 25-Мрт-24, 13:35 | ||
в докер надо засунуть, тогда будет норм | ||
Ответить | Правка | Наверх | Cообщить модератору |
31. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Алексей (??), 25-Мрт-24, 14:32 | ||
libsql | ||
Ответить | Правка | Наверх | Cообщить модератору |
32. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +1 +/– | |
Сообщение от НяшМяш (ok), 25-Мрт-24, 14:44 | ||
systemd-sqlited | ||
Ответить | Правка | Наверх | Cообщить модератору |
20. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (20), 25-Мрт-24, 13:37 | ||
>предпринял попытку создания формата для архивирования файлов, построенного на базе библиотеки SQLite | ||
Ответить | Правка | Наверх | Cообщить модератору |
52. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (53), 25-Мрт-24, 18:19 | ||
Извините, но что это за uдuотская фича - исполнять код?? Это в смысле "брешь" в обработке файлов или это прямо специально реализованная фича? | ||
Ответить | Правка | Наверх | Cообщить модератору |
64. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Прадед (?), 25-Мрт-24, 21:29 | ||
Споткнулся и выполнил | ||
Ответить | Правка | Наверх | Cообщить модератору |
71. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (84), 25-Мрт-24, 22:32 | ||
Штатная фича - https://www.sqlite.org/lang_createview.html . VIEW - эта такая типа таблица, но когда из неё SELECT делаешь, то выполняется код, который при создании VIEW указали. Что-то вроде хранимой процедуры. Через них некоторый софт, который использует базы, можно эксплуатировать. | ||
Ответить | Правка | К родителю #52 | Наверх | Cообщить модератору |
77. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от tty0 (?), 25-Мрт-24, 23:27 | ||
Вы меня пугаете. Программные хуки в SQLite выполняются софтом. | ||
Ответить | Правка | Наверх | Cообщить модератору |
79. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (84), 25-Мрт-24, 23:52 | ||
Хромому они не помогли. | ||
Ответить | Правка | Наверх | Cообщить модератору |
21. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (27), 25-Мрт-24, 13:40 | ||
>сжатию библиотекой libzstd | ||
Ответить | Правка | Наверх | Cообщить модератору |
24. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (27), 25-Мрт-24, 13:44 | ||
даже PPMD очень не везде поддерживается. В качестве реализации рекомендую https://github.com/mcmilk/7-Zip-zstd | ||
Ответить | Правка | Наверх | Cообщить модератору |
29. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от fuggy (ok), 25-Мрт-24, 14:10 | ||
ppmd уже давно поддерживается в 7z. Или ты смешивает ppmd и zstd. | ||
Ответить | Правка | Наверх | Cообщить модератору |
33. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (33), 25-Мрт-24, 14:45 | ||
в 7z - да, а вот во многих других реализациях помимо store и zlib в лучшем случае lzma2 поддерживается, а не полный комплект компрессоров. В питонью реализацию с помощью monkey-patchingа можно любой компрессор впрячь, и пакеты есть, но это всё же не приложение для конечного пользователя. | ||
Ответить | Правка | Наверх | Cообщить модератору |
59. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (62), 25-Мрт-24, 19:59 | ||
По скорее бы завезли zstd в info-zip, уже много лет как zip поддерживает zstd в стандарте. И zstd определённо предпочтительнее lzma по всем параметрам (а по многим и предпочтительнее deflate). А вот 7z что-то сдулся, теперь везде RAR и он не такой томозной и дефективный (даже больше линуксовых данных о файле поддерживает). | ||
Ответить | Правка | Наверх | Cообщить модератору |
68. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (84), 25-Мрт-24, 21:53 | ||
Мне плевать на "тормозной" до тех пор, пока замедление адекватно сжатию. У lzma2 оно адекватно, самое лучшее сжатие, что получал (на нужном наборе данных) - у brotli, просто бротли надо с песней компилировать и устанавливать на некоторых системах, а lzma из коробки идёт. zstd - это просто модно, юзаю его исключительно из-за наличия API для кастомного словаря в питоновском пакете (у lzma нет в пакете этого API). Но, как я уже сказал, хотя у brotli убрали вообще возможность юзать кастомный словарь в питоновском пакете, он жмёт лучше, чем zstd с шарингом словаря между записями. Поэтому, если есть возможность юзать бротли - то юзайте его. | ||
Ответить | Правка | Наверх | Cообщить модератору |
74. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от fuggy (ok), 25-Мрт-24, 22:55 | ||
Чего не хватает в 7z так это больше фильтров для разных типов файла как в winrar. Сейчас он имеет фильтры только для исполняемых файлов и wav. | ||
Ответить | Правка | Наверх | Cообщить модератору |
76. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (62), 25-Мрт-24, 23:24 | ||
Так у 7z тот же brunsli для картинок есть уже много лет. Как по мне, главная фича рар это коды коррекции, ну и стратегии кодирования выбирает более адекватно. | ||
Ответить | Правка | Наверх | Cообщить модератору |
78. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от fuggy (ok), 25-Мрт-24, 23:34 | ||
Я хочу это чтобы было в стандартной поставке. Стратегии это по сути и есть препрецессор фильтры 7z для типа файла. | ||
Ответить | Правка | Наверх | Cообщить модератору |
22. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (22), 25-Мрт-24, 13:41 | ||
А где сравнение с утилитой zstd? | ||
Ответить | Правка | Наверх | Cообщить модератору |
23. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (23), 25-Мрт-24, 13:42 | ||
Есть такой проект, Pigz называется, тотже gzip, но распаралленый. Быстро работает. | ||
Ответить | Правка | Наверх | Cообщить модератору |
34. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от НяшМяш (ok), 25-Мрт-24, 14:49 | ||
Плохо, что всё время забываешь -I pigz к tar подкидывать. Его уже надо бы по-умолчанию подхватывать, если установлен. | ||
Ответить | Правка | Наверх | Cообщить модератору |
36. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (36), 25-Мрт-24, 15:01 | ||
Сделай его системным. | ||
Ответить | Правка | Наверх | Cообщить модератору |
40. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (40), 25-Мрт-24, 16:44 | ||
pbzip2 тоже, но чуть лучше жмёт и при распаковке контрольную сумму проверяет. | ||
Ответить | Правка | К родителю #23 | Наверх | Cообщить модератору |
35. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +1 +/– | |
Сообщение от topin89 (ok), 25-Мрт-24, 14:56 | ||
> При сжатии каталога с 81 тысячей файлов, общим размером 1.25 ГБ | ||
Ответить | Правка | Наверх | Cообщить модератору |
38. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (38), 25-Мрт-24, 15:21 | ||
>read-only | ||
Ответить | Правка | Наверх | Cообщить модератору |
47. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +1 +/– | |
Сообщение от Аноним (47), 25-Мрт-24, 17:54 | ||
> А так вообще непонятно, чем именно оно лучше tar+zstd. | ||
Ответить | Правка | К родителю #35 | Наверх | Cообщить модератору |
51. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (44), 25-Мрт-24, 18:11 | ||
Не, нужно так писать | ||
Ответить | Правка | Наверх | Cообщить модератору |
104. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от непонятка (?), 27-Мрт-24, 06:26 | ||
А этот dwarfs в качестве хранилки библиотеки сойдет? | ||
Ответить | Правка | К родителю #35 | Наверх | Cообщить модератору |
115. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от topin89 (ok), 17-Апр-24, 13:04 | ||
> А этот dwarfs в качестве хранилки библиотеки сойдет? | ||
Ответить | Правка | Наверх | Cообщить модератору |
39. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +1 +/– | |
Сообщение от Аноним (-), 25-Мрт-24, 16:44 | ||
Давно ищу архиватор/способ чтоб в архиве сохранялась дата создания(через stat это Birth) и изменения файлов(через stat это Modify), дописывать в имена файлов не вариант. В "окошках" все популярные форматы это умеют, а в более продвинутой ОС это не работает. Да ну не может быть подумал я .. какая же это была ошибка, ну вот нет такого. | ||
Ответить | Правка | Наверх | Cообщить модератору |
46. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (47), 25-Мрт-24, 17:53 | ||
Если сам формат файла хранит только ОДНУ дату, вряд ли ты сможешь туда засунуть вторую! (это так, мысли вслух) Спроси автора, может он идею какую подкинет (писать дату в комменты или что-то подобное). | ||
Ответить | Правка | Наверх | Cообщить модератору |
48. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (48), 25-Мрт-24, 18:00 | ||
> а в более продвинутой ОС это не работает. Да ну не может быть подумал | ||
Ответить | Правка | К родителю #39 | Наверх | Cообщить модератору |
50. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (48), 25-Мрт-24, 18:06 | ||
>> а в более продвинутой ОС это не работает. Да ну не может быть подумал | ||
Ответить | Правка | Наверх | Cообщить модератору |
57. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (62), 25-Мрт-24, 19:54 | ||
Не так и давно, поддержку birth иноды (не столь и полезная для архивации информация на самом деле) в ядро добавили только несколько лет назад и только около года назад её добавили в glibc и следом в dolphin (с тех пор я её использую постоянно). Я использую расширенные аттрибуты для сохранения даты создания файла (и хеша, удобно после распаковки архива знать что это был за архив и когда модифицирован в оригинале, файлы не меняются, поэтому это и есть время создания плюс время записи), чтобы получить что-то вроде того, что есть на macos. Но я вижу, что многое надо доработать в файловом менеджере, например, чтобы он не удалял расширенные аттрибуты при копировании/перемещении файла. | ||
Ответить | Правка | К родителю #39 | Наверх | Cообщить модератору |
66. "Эксперимент с использованием SQLite в качестве контейнера дл..." | –1 +/– | |
Сообщение от Аноним (66), 25-Мрт-24, 21:49 | ||
>>7z | ||
Ответить | Правка | Наверх | Cообщить модератору |
70. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (70), 25-Мрт-24, 22:09 | ||
>> и в частности индексированный tar позволяет получить быстрый произвольный доступ к сжатым данным, | ||
Ответить | Правка | Наверх | Cообщить модератору |
41. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +2 +/– | |
Сообщение от Аноним (42), 25-Мрт-24, 17:09 | ||
Я тут уже лет 10 пишу, что с появлением твердотельников будущее за файловыми системами на основе хешей и БД. | ||
Ответить | Правка | Наверх | Cообщить модератору |
45. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (47), 25-Мрт-24, 17:51 | ||
> чтению данных, сжатию библиотекой libzstd и выполнению SQL-операций по добавлению сжатых данных в файл с БД SQLite | ||
Ответить | Правка | Наверх | Cообщить модератору |
49. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (49), 25-Мрт-24, 18:02 | ||
Оверинженеринг | ||
Ответить | Правка | Наверх | Cообщить модератору |
58. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +1 +/– | |
Сообщение от Аноним (58), 25-Мрт-24, 19:57 | ||
Прелестный эксперимент. Чтоб подумать над результатом. :) | ||
Ответить | Правка | Наверх | Cообщить модератору |
55. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +8 +/– | |
Сообщение от O (?), 25-Мрт-24, 18:56 | ||
Здравствуйте, | ||
Ответить | Правка | Наверх | Cообщить модератору |
63. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (84), 25-Мрт-24, 21:23 | ||
>SQLite security: | ||
Ответить | Правка | Наверх | Cообщить модератору |
65. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (84), 25-Мрт-24, 21:32 | ||
And forgot to add: | ||
Ответить | Правка | Наверх | Cообщить модератору |
80. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от O (?), 26-Мрт-24, 00:55 | ||
All are an will be statically linked. They are not considered a shared library to the program, but part of the source. | ||
Ответить | Правка | Наверх | Cообщить модератору |
82. "Эксперимент с использованием SQLite в качестве контейнера дл..." | –3 +/– | |
Сообщение от Аноним (84), 26-Мрт-24, 02:21 | ||
Noone sane uses statically-linked libs and sane distros would never accept anything using statically linked libs. It is unmaintainable shit. If a yet another critical RCE vulnr is found in your precious SQLite, then the lib in the distro will be upgraded, but your archiver (needed by nobody sane and kept only to make a check mark that they have it in the repo, if it got enough adoption) with statically linked SQLite will stay vulnerable. | ||
Ответить | Правка | Наверх | Cообщить модератору |
87. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (62), 26-Мрт-24, 10:43 | ||
Ты просто не пользовался скулайтом, он примерно всегда бандлится. Или не заметил. Ну и все мейнтейнеры жрут, что им навалят разрабы, странный аргумент. Потому что шляпа вроде ffmpeg или libvpx регулярно ломает совместимость, но узнаешь ты об этом только когда пользователи начнут ныть (подход компилируется значит работает очень популярный у мейнтенеров). Или другой пример именно статически линкуемого компонента неизвестной версии это zlib. | ||
Ответить | Правка | Наверх | Cообщить модератору |
89. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (89), 26-Мрт-24, 13:07 | ||
>Ты просто не пользовался скулайтом, он примерно всегда бандлится | ||
Ответить | Правка | Наверх | Cообщить модератору |
93. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (62), 26-Мрт-24, 13:24 | ||
Дело не в этом. Лучше смотри на это с позиции когда мейнтенеры не будут возиться с разбандливанием и разгребанием багов в каждой поделке (а они там будут). Если говорить о скулите, то дистрибутивная версия может быть собрана без secure-delete (потому что это угрожает производительности), а та, что поставляется, например, с браузером, компилируется с этим флагом. Версии, поставляемые с браузером, во многих случаях будут более новые, либо с применёнными (иными) патчами. В целом, особенно актуальны вопросы совместимости для программ на плюсах, сишные в значительной мере совместимы. Но всё равно нельзя взять и подсунуть произвольную версию и только разрабы знают какая подходит и почему, не мейнтейнеры. Куда чаще проблема не в том, что разрабы не разбираются, а в том, что мейнтейнеры разбираются недостаточно хорошо. | ||
Ответить | Правка | Наверх | Cообщить модератору |
96. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (96), 26-Мрт-24, 14:40 | ||
Да, есть такая проблема. И это проблема в том числе самого SQLite. Слишком многое там конфигурируется во время компиляции флагами компиляции. Потому что нефиг на Си писать. Писать надо было на плюсах и юзать шаблоны, создавая где очень критично к производительности 2 версии кода, и не через макросы, а через ifы/switchи, где в каждом варианте все ветви кроме гдной будут выоптимизированы компилятором. Ещё проблем добавляет модель разработки SQLite - "мы не будем брать ваши патчи, мы возьмём только заказ на работу и гонорар за его исполнение". Костыльный вариант решения я вижу таким — запакетировать несколько бинарных вариантов либы под распространённые use case и линковать приложения к нужному варианту. | ||
Ответить | Правка | Наверх | Cообщить модератору |
90. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от O (?), 26-Мрт-24, 13:12 | ||
Hey | ||
Ответить | Правка | К родителю #82 | Наверх | Cообщить модератору |
94. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (89), 26-Мрт-24, 13:30 | ||
I can give you a simple advice that will fix all issues in your format: just admit that it was an extremily bad idea to promote it as an archive format and put noticable warnings about that everywhere: on official webpages, in git repo, etc. For the uses that don't promote it as an archive format, but as a key-value store for a local use only in a pretty trusted setup ... there are plenty of solutions, and no hype around them. | ||
Ответить | Правка | Наверх | Cообщить модератору |
83. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (84), 26-Мрт-24, 02:33 | ||
Some moar things I forgot to add: | ||
Ответить | Правка | К родителю #63 | Наверх | Cообщить модератору |
92. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от O (?), 26-Мрт-24, 13:24 | ||
Thank you for the interest. | ||
Ответить | Правка | Наверх | Cообщить модератору |
98. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (98), 26-Мрт-24, 15:58 | ||
>SQLite has secure delete too, which does not take much extra time: https://www.sqlite.org/pragma.html#pragma_secure_delete | ||
Ответить | Правка | Наверх | Cообщить модератору |
67. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от BrainFucker (ok), 25-Мрт-24, 21:52 | ||
Предпочитаю squashfs для архивирования. У него встроенное сжатие, но главное можно примонтировать и читать файлы с произвольным доступом без необходимости распаковывать весь архив. | ||
Ответить | Правка | Наверх | Cообщить модератору |
100. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (100), 26-Мрт-24, 18:13 | ||
Рекомендую dwarfs, он лучше | ||
Ответить | Правка | Наверх | Cообщить модератору |
101. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от BrainFucker (ok), 26-Мрт-24, 20:33 | ||
> Рекомендую dwarfs, он лучше | ||
Ответить | Правка | Наверх | Cообщить модератору |
88. "Эксперимент с использованием SQLite в качестве контейнера дл..." | –1 +/– | |
Сообщение от DZgas (?), 26-Мрт-24, 11:39 | ||
👍 прект наебалго, разница скорости между Ним и 7zip zstd примрено 15% по скорости, то есть, проект pack не создаёт ни хэша файла, ни фаловой иерархии внутри. И поэтому на примерно 15% быстрее | ||
Ответить | Правка | Наверх | Cообщить модератору |
91. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +1 +/– | |
Сообщение от O (?), 26-Мрт-24, 13:17 | ||
File hierarchy is implemented using recursive ID. In Item table, every Item gets linked to its parent by Parent field. On unpacking, they will be queried and verified. | ||
Ответить | Правка | Наверх | Cообщить модератору |
103. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от Аноним (103), 27-Мрт-24, 06:15 | ||
В 7z мне не хватает CRC. | ||
Ответить | Правка | Наверх | Cообщить модератору |
107. "Эксперимент с использованием SQLite в качестве контейнера дл..." | +/– | |
Сообщение от mumu (ok), 28-Мрт-24, 16:01 | ||
некорректный дизайн теста. паскаль. no comments | ||
Ответить | Правка | Наверх | Cообщить модератору |
Архив | Удалить |
Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема |
Закладки на сайте Проследить за страницей |
Created 1996-2024 by Maxim Chirkov Добавить, Поддержать, Вебмастеру |