forum.opennet.ru - "Раздел полезных советов: Скрипт для конвертации архива gz в lzma" (59)

"Раздел полезных советов: Скрипт для конвертации архива gz в lzma"

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Раздел полезных советов: Скрипт для конвертации архива gz в lzma"	+2 +/–
Сообщение от auto_tips (ok), 27-Фев-22, 18:44
Скрипт для преобразования архива .gz в .lzma с сохранением времени изменения/создания файла и прав доступа, а также с минимальным влиянием на производительность. Для переименования группы файлов можно использовать конструкцию вида: find . -name ".gz" -print0 \| xargs -0 -n 1 echo ~/bin/gz2lzma.sh \| batch gz2lzma.sh: #!/bin/sh # # CopyLeft (L) john_erohin, 2022 # # gz2lzma.sh: convert .gz to .lzma with same mtime, ctime and access rights # # in: $1 = file name with or without ".gz" suffix # out: file "$1.lzma" and removed "$1.gz" if conversion is ok # # warining: if $1.lzma exist, it will be silently overwritten # # use someth like # find . -name ".gz" -print0 \| xargs -0 -n 1 echo ~/bin/gz2lzma.sh \| batch # for mass background conversion # F=$1 F=`echo $F \| sed -e s:\.gz\$::g` if [ -f $F.gz ] ; then /usr/bin/eatmydata -- \ /usr/bin/nice -19 \ /usr/bin/chrt --idle 0 \ /usr/bin/ionice -c 3 \ gzip -t $F.gz > /dev/null 2>&1 RC=$? if [ $RC -ge 1 ]; then echo error $RC in $F.gz : integrity test failed exit $RC fi CTIME=`stat -c %w $F.gz` MTIME=`stat -c %y $F.gz` CHMOD=`stat -c %a $F.gz` TF=`mktemp` T=`basename $TF` rm $TF L=$F.$T.lzma touch $L chmod $CHMOD $L gzip -cdk $F.gz \| \ /usr/bin/eatmydata -- \ /usr/bin/nice -19 \ /usr/bin/chrt --idle 0 \ /usr/bin/ionice -c 3 \ /usr/bin/lzma -z9c > $L RC=$? if [ $RC -eq 0 ]; then touch --date="$CTIME" $L touch -m --date="$MTIME" $L mv $L $F.lzma rm $F.gz else echo lzma run-time error $RC processing $L exit $RC fi else echo error: no input file $F or $F.gz exit 1 fi URL: Обсуждается: https://www.opennet.ru/tips/info/3202.shtml
Ответить \| Правка \| Cообщить модератору

Оглавление

Привер того, как нельзя делать переменные без кавычек, вызов внешних программ с, ABATAPA (ok), 18:44 , 27-Фев-22, (1) +15
соглашусь с предыдущим оратором Автор, вбей свой скрипт в shellcheck что за зад, Аноним (2), 20:45 , 28-Фев-22, (2) +7

там в шебанге -- bin sh , нет никакого pipefail какой такой шопт его тоже нет, Омомо (?), 22:25 , 03-Мрт-22, (9) +1

однако set -e есть есть такие потребители смузей, что линкуют жырный bash на , john_erohin (?), 07:46 , 04-Мрт-22, (11) +2

Не знаю, как в gentoo, но в calculate по дефолту А может и в gentoo тоже , ммнюмнюмус (?), 02:30 , 29-Мрт-22, (21)
А ещё у bash конвейеры передают быстрее, чем внезапно тот же dash, сам мерял , ммнюмнюмус (?), 22:08 , 19-Апр-22, (42)

Пытаться сделать что-то с POSIX-шеллом сложнее hello world 8212 бесполезная т, Аноним (29), 05:56 , 03-Апр-22, (29) –1

на чистом bin sh - да, возможно но зачем, если есть grep, sed и awk , john_erohin (?), 05:50 , 06-Апр-22, (30)
Если что-то трудно изобразить на чистом шелле, то на баше получится урод еще пок, Аноним (34), 03:31 , 07-Апр-22, (34)

которые к тому же могут быть не совместимыми между версиями, OpenEcho (?), 19:24 , 25-Фев-23, (54)

Так и запишем, - не одолел На чистом шеле стандартных утилитах типа sed, a, OpenEcho (?), 19:28 , 25-Фев-23, (55)

я хочу перепаковать накопилось всякого в tar gz, CPU и память есть в дальнейшем, john_erohin (?), 21:43 , 28-Фев-22, (3) –4

echo не надежен, т к не дает универсального интерфейса для вывода самых разных, Аноним (2), 07:55 , 01-Мрт-22, (4) +4

Например, выведи мне строку -n echo -e b-n , pavlinux (ok), 11:59 , 26-Мрт-22, (17)

А если переносимо, чтоб и на bash и на dash Например, dash выдаст -e-nВ стандар, ммнюмнюмус (?), 02:38 , 29-Мрт-22, (22)

SHELL dash then SHELL bash then SHELL mash then SH, pavlinux (ok), 12:24 , 29-Мрт-22, (23) +1

Кажется, вы предлагали echo для компактности Все, гуляй компактность Прямо пере, ммнюмнюмус (?), 22:50 , 31-Мрт-22, (24)

echo - -n, echomaster (?), 20:58 , 07-Май-22, (47)
Я что то не понял, а в чем проблема echo -n -n , OpenEcho (?), 19:35 , 25-Фев-23, (56)

zcat in tar gz 124 lzma out tar xzИспользования неименованного канала коман, Аноним (6), 20:03 , 02-Мрт-22, (6) +4

zcat in tar gz 124 lzma out tar lzma, Аноним (6), 20:04 , 02-Мрт-22, (7)

не все так хорошо от использования cpulimit в tar gz появился концевой мусор,поэ, john_erohin (?), 07:55 , 04-Мрт-22, (12) –1

А зачем вот это все , OpenEcho (?), 23:17 , 25-Фев-23, (57)

А скрипт просто ужасен Переменные без кавычек после rm и mv - верный путь удали, Аноним (6), 20:09 , 02-Мрт-22, (8) +3

Переменная проверяется до mv и rm, смысла нет засирать кавычками и флажками Есл, Аноним (34), 03:19 , 07-Апр-22, (33) –1

Из каких конструкций можно понять, что переменная действительно проверяется до m, Аноним (36), 12:23 , 13-Апр-22, (36)
Дешёвые понты Засирать - это как раз про такой говнокод, в котором нужно пост, Аноним (46), 15:26 , 28-Апр-22, (46) +1
Значит вы еще не наступали на грабли, иначе бы знали почему шелчек ругается на б, OpenEcho (?), 23:22 , 25-Фев-23, (58)

Но зачем в устаревший lzma, а не в xz , Аноним (14), 15:59 , 22-Мрт-22, (14)

по результатам тестов у lzma лучше результаты на этой коллекции , john_erohin (?), 13:20 , 26-Мрт-22, (18)

zstd пробовали , Werwolf (ok), 12:24 , 04-Окт-22, (53)

Хорош, но очень уж голоден до памяти, S2 не хуже, быстрей и жрет памяти меньше, OpenEcho (?), 23:27 , 25-Фев-23, (59)

Мы всегда когда-то только учились , Аноним (5), 12:07 , 02-Мрт-22, (5) +2
не нужно этот ваш шелл нечитаемый пишите на нормальных языках я не знаю ст, Омомо (?), 22:31 , 03-Мрт-22, (10)

Выглядит как сарказм, зачем это минусовать , ммнюмнюмус (?), 23:34 , 31-Мрт-22, (25) +2

Одно дело написать скриптец, чтобы он за вечерок перелопатил что-то, или за выхо, i (??), 01:29 , 09-Мрт-22, (13)

А чего тут муторного PIDFILE run myscript pid if -f PIDFILE then , Pavel (??), 16:04 , 23-Мрт-22, (15)

Если на полную катушку, то у шеллов не только bash должны быть стандартные пут, ммнюмнюмус (?), 23:37 , 31-Мрт-22, (26)

Так это делают source папка файлТолько тогда необходимость учитывать в каждый , Аноним (36), 12:40 , 13-Апр-22, (37)

А это точно есть в posix posix-мануал для set про это ни слова про опцию -e , д, ммнюмнюмус (?), 16:16 , 17-Апр-22, (39)
-o pipefail тоже не по posix, ммнюмнюмус (?), 16:32 , 17-Апр-22, (40)

То же самое, но чуть более читаемоPIDFILE run myscript pid if -f PIDFIL, ммнюмнюмус (?), 23:51 , 31-Мрт-22, (28)
Вроде бы есть утилитка, которая нечто подобное реализует , Аноним (34), 03:06 , 07-Апр-22, (32)

LZMA было модно лет 15 назад, ща ZSTD в тренде https github com facebook zst, pavlinux (ok), 11:45 , 26-Мрт-22, (16) +1

S2 ИМХО значительно, лучше, OpenEcho (?), 23:34 , 25-Фев-23, (60)

Дедовские методы и особо без гарантий mount -t cgroup -o all cgroup sys fs cg, pavlinux (ok), 18:30 , 26-Мрт-22, (19)

Смузи выпил , AntiSmoozer (?), 00:13 , 11-Апр-22, (35)
Так ведь у автора зато без sudo , Аноним (36), 12:43 , 13-Апр-22, (38)

Афтор - чайник, у него usr bin nice -19 , он наверное не в курсе, что МИНУС 19, pavlinux (ok), 11:30 , 25-Апр-22, (43)

тонко я даже начал сомневаться в себе но потом проверил 0 есть builtin nice в, john_erohin (?), 21:55 , 12-Май-22, (48)

Косяк это шелов и окружений env , если nice -19 exec у тебя показывает наименьш, pavlinux (ok), 17:07 , 21-Май-22, (49)

отказать чтобы работало везде надо вызывать usr bin nice именно так как написа, john_erohin (?), 22:17 , 10-Июн-22, (50)

Угу, у меня такое-же мнение, OpenEcho (?), 23:37 , 25-Фев-23, (61)

Скрипт прочтения man gz lzma bash, Ano (?), 17:04 , 18-Апр-22, (41)
code bin bash перед стартом проверить наличие find, file, rename, stat, c, pavlinux (ok), 12:23 , 25-Апр-22, (44)

case env LC_ALL C file --mime-type --brief -- i in application gzip c, Аноним (46), 15:18 , 28-Апр-22, (45)
src file --verfile-5 33magic file from etc magic usr share misc magic , другой Аноним (?), 14:02 , 25-Июн-22, (51)

Я тож считают, что за время гемора в разработке этого скрипта, можно было зарабо, pavlinux (ok), 19:12 , 20-Июл-22, (52)

С этим можно хорошенько нарваться если в директории будет очень много файлов, т , OpenEcho (?), 23:40 , 25-Фев-23, (62)

Сообщения [Сортировка по времени | RSS]

1. "Скрипт для конвертации архива gz в lzma" +15 +/–

Сообщение от ABATAPA (ok), 27-Фев-22, 18:44

Привер того, как нельзя делать: переменные без кавычек, вызов внешних программ с  простой передачей им "голых" переменных (которые подставляются в exec), двойное раскодирование (сперва "тест", потом основное) вместо обработки кодов возврата...
Корявый скрипт новичка.

Ответить | Правка | Наверх | Cообщить модератору

2. "Скрипт для конвертации архива gz в lzma" +7 +/–

Сообщение от Аноним (2), 28-Фев-22, 20:45

соглашусь с предыдущим оратором. Автор, вбей свой скрипт в shellcheck.
> Скрипт для конвертации архива gz в lzma
что за задачка такая странная? Зачем это вообще нужно?
> echo
printf
> if условие; then
>   практически весь скрипт
> else
>   какой-то однострочный пустяк
> fi
просто проверь в самом начале на плохое условие и сделай ранний выход. Зачем весь скрипт помещать внутрь гигантского ифа?
> /usr/bin
не понимать, зачем универсальному кросс-дистровому скрипту хардкодить пути к бинарям. А если я захочу переопределить $PATH?
> CopyLeft (L)
Что за лицензия такая?
> echo error: no input file $F or $F.gz
> exit 1
почему ошибки идут в stdout, а не в stderr?
где стандартная преамбула, врубающая строгий режим? типа
    set -euo pipefail
    shopt -s inherit_errexit
почему у переменных однобуквенные названия? да ты и сам спустя месяц забудешь, что они значат
> if [ -f $F.gz ]
че за бред, это не единственная IO-ошибка, которая может возникнуть. Об этих ошибках должна рапортовать вызываемая прога, а твое дело -- просто вовремя выходить и не глушить ее stdout/err.

Ответить | Правка | Наверх | Cообщить модератору

9. "Скрипт для конвертации архива gz в lzma" +1 +/–

Сообщение от Омомо (?), 03-Мрт-22, 22:25

> set -euo pipefail
> shopt -s inherit_errexit
там в шебанге -- `/bin/sh`, нет никакого pipefail.
какой такой шопт? его тоже нет.

Ответить | Правка | Наверх | Cообщить модератору

11. "Скрипт для конвертации архива gz в lzma" +2 +/–

Сообщение от john_erohin (?), 04-Мрт-22, 07:46

> там в шебанге -- `/bin/sh`, нет никакого pipefail.
однако "set -e" есть.
> какой такой шопт? его тоже нет.
есть такие потребители смузей, что линкуют жырный bash на /bin/sh

Ответить | Правка | Наверх | Cообщить модератору

21. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от ммнюмнюмус (?), 29-Мрт-22, 02:30

Не знаю, как в gentoo, но в calculate по дефолту. А может и в gentoo тоже.

Ответить | Правка | Наверх | Cообщить модератору

42. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от ммнюмнюмус (?), 19-Апр-22, 22:08

> есть такие потребители смузей, что линкуют жырный bash на /bin/sh
А ещё у bash конвейеры передают быстрее, чем (внезапно) тот же dash, сам мерял.

Ответить | Правка | К родителю #11 | Наверх | Cообщить модератору

29. "Скрипт для конвертации архива gz в lzma" –1 +/–

Сообщение от Аноним (29), 03-Апр-22, 05:56

Пытаться сделать что-то с POSIX-шеллом сложнее hello world — бесполезная трата времени.
Писать на баше это разумный и оптимальный подход, за исключением 3½ вырожденных случаев, которые ты за свою жизнь в дикой природе не встретишь, а если встретишь, то и там тоже будет баш.

Ответить | Правка | К родителю #9 | Наверх | Cообщить модератору

30. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от john_erohin (?), 06-Апр-22, 05:50

> Пытаться сделать что-то с POSIX-шеллом сложнее hello world — бесполезная трата времени.
на чистом /bin/sh - да, возможно.
но зачем, если есть grep, sed и awk.

Ответить | Правка | Наверх | Cообщить модератору

34. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от Аноним (34), 07-Апр-22, 03:31

Если что-то трудно изобразить на чистом шелле, то на баше получится урод еще покруче. Как раз 3.5 случая, когда башизмы хорошо ложатся. Лично мне проще писать на примитивном и простом как палка шелле, чем зазубривать все особенности баша.

Ответить | Правка | К родителю #29 | Наверх | Cообщить модератору

54. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от OpenEcho (?), 25-Фев-23, 19:24

> чем зазубривать все особенности баша.
которые к тому же могут быть не совместимыми между версиями

Ответить | Правка | Наверх | Cообщить модератору

55. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от OpenEcho (?), 25-Фев-23, 19:28

> Пытаться сделать что-то с POSIX-шеллом сложнее hello world — бесполезная трата времени.
Так и запишем, - "не одолел" :)
На чистом шеле + стандартных утилитах типа sed, awk, tr, jq... можно написать большинство админовских задач ^значительно быстрее^ чем использование более высокоуровневых языков

Ответить | Правка | К родителю #29 | Наверх | Cообщить модератору

3. "Скрипт для конвертации архива gz в lzma" –4 +/–

Сообщение от john_erohin (?), 28-Фев-22, 21:43

> что за задачка такая странная? Зачем это вообще нужно?
я хочу перепаковать. накопилось всякого в tar.gz, CPU и память есть.
в дальнейшем переведу упаковку логов в lzma.
>> echo
> printf
отказать. снижает читаемость.
> Зачем весь скрипт помещать внутрь гигантского ифа?
"структурное програмирование". слыхали про такую парадигму ?
> зачем универсальному кросс-дистровому скрипту
linux only. существенно используется

https://www.opennet.ru/tips/3187_idle_cpulimit_limit_process...
> почему ошибки идут в stdout, а не в stderr?
справделиво. я исправлю это.
> где стандартная преамбула, врубающая строгий режим?
в dash этого нет.
и наконец:
> > CopyLeft (L)
> Что за лицензия такая?
как копирайт, только наоборот. google it.

Ответить | Правка | Наверх | Cообщить модератору

4. "Скрипт для конвертации архива gz в lzma" +4 +/–

Сообщение от Аноним (2), 01-Мрт-22, 07:55

> отказать. снижает читаемость
echo не надежен, т. к. не дает универсального интерфейса для вывода самых разных строк. Например, выведи мне строку "-n". Вот попробуй сам: echo -n
> "структурное програмирование". слыхали про такую парадигму ?
если весь код оформлять чисто структурно, то он быстро перейдет в трудноподдерживаемое состояние. Вместо этого следует использовать контрактное программирование, при котором все предусловия проверяются еще до начала работы. (Забудем на минуту, что конкретно в этом скрипте предусловия проверять вообще не надо -- пусть падает вызываемая прога.)
> linux only
че за рандомная ссылка? как она отвечает на мой вопрос?
> в dash этого нет.
Ну а в каких шеллах ты вообще проверял свой скрипт, раз хочешь "кросс-шелловость"? bash? csh? zsh? ash? fish?
> как копирайт, только наоборот. google it.
нет такой лицензии "копирайт". Нет такой лицензии "копилефт". google it: https://choosealicense.com/

Ответить | Правка | Наверх | Cообщить модератору

17. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от pavlinux (ok), 26-Мрт-22, 11:59

Например, выведи мне строку "-n".
echo -e  '\b-n'

Ответить | Правка | Наверх | Cообщить модератору

22. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от ммнюмнюмус (?), 29-Мрт-22, 02:38

> Например, выведи мне строку "-n".
> echo -e  '\b-n'
А если переносимо, чтоб и на bash и на dash?
Например, dash выдаст: -e-n
В стандарте на posix shell вообще нет echo.
printf '%s' "строка"  # Вполне читаемо

Ответить | Правка | Наверх | Cообщить модератору

23. "Скрипт для конвертации архива gz в lzma" +1 +/–

Сообщение от pavlinux (ok), 29-Мрт-22, 12:24

>> Например, выведи мне строку "-n".
>> echo -e  '\b-n'
> А если переносимо, чтоб и на bash и на dash?
[ $SHELL == "dash" ] then
[ $SHELL == "bash" ] then
[ $SHELL == "mash" ] then
[ $SHELL == "sash" ] then
> Например, dash выдаст: -e-n
On XSI-conformant systems, if the first operand is -n, it shall be treated as a string,
not an option. The following character sequences shall be recognized on XSI-conformant
systems within any of the arguments:
Так что, это ты пишешь не по стандарту, а не echo плохое.  :D
> В стандарте на posix shell вообще нет echo.
The Open Group Base Specifications Issue 7, 2018 edition
IEEE Std 1003.1-2017 (Revision of IEEE Std 1003.1-2008)
Copyright © 2001-2018 IEEE and The Open Group
https://pubs.opengroup.org/onlinepubs/9699919799.2018edition/

Ответить | Правка | Наверх | Cообщить модератору

24. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от ммнюмнюмус (?), 31-Мрт-22, 22:50

>>> Например, выведи мне строку "-n".
>>> echo -e  '\b-n'
>> А если переносимо, чтоб и на bash и на dash?
> [ $SHELL == "dash" ] then
> [ $SHELL == "bash" ] then
> [ $SHELL == "mash" ] then
> [ $SHELL == "sash" ] then
Кажется, вы предлагали echo для компактности. Все, гуляй компактность.
>> Например, dash выдаст: -e-n
> On XSI-conformant systems, if the first operand is -n, it shall be
> treated as a string,
> not an option. The following character sequences shall be recognized on XSI-conformant
> systems within any of the arguments:
Прямо перед этим:
> If the first operand is -n, or if any of the operands contain a <backslash> character, the results are implementation-defined.
===============
> Так что, это ты пишешь не по стандарту, а не echo плохое.
>  :D
printf един, а у echo
>APPLICATION USAGE
> It is not possible to use echo portably across all POSIX systems unless both -n (as the first argument) and escape sequences are omitted.
> The printf utility can be used portably to emulate any of the traditional behaviors of the echo utility as follows (assuming that IFS has its standard value or is unset):
================
>> В стандарте на posix shell вообще нет echo.
> The Open Group Base Specifications Issue 7, 2018 edition
> IEEE Std 1003.1-2017 (Revision of IEEE Std 1003.1-2008)
> Copyright © 2001-2018 IEEE and The Open Group
> https://pubs.opengroup.org/onlinepubs/9699919799.2018edition/
Ну тогда уж сюда, а то еще раздел "Command language" искать.
https://pubs.opengroup.org/onlinepubs/9699919799.2018edition...
И то - сам стандарт прямо говорит, что переносимость у echo так себе. Вот делать нечего, как зачитывать все эти имена вместо одной строчки printf. Не та цель.

Ответить | Правка | Наверх | Cообщить модератору

47. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от echomaster (?), 07-Май-22, 20:58

echo - -n

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

56. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от OpenEcho (?), 25-Фев-23, 19:35

> разных строк. Например, выведи мне строку "-n". Вот попробуй сам: echo -n
Я что то не понял, а в чем проблема?
echo -n '-n'

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

6. "Скрипт для конвертации архива gz в lzma" +4 +/–

Сообщение от Аноним (6), 02-Мрт-22, 20:03

> хочу перепаковать .. в lzma
zcat in.tar.gz | lzma > out.tar.xz
Использования неименованного канала командной оболочки предотвращает передачу метаданных сжатого файла tar-архива. Но метаданные файлов внутри tar-архива хранятся в самом tar-архиве и сохраняются, он вообще не распаковывается.
Так как и gzip, и xz (lzma) умеют сжимать только один файл, имеет смысл использовать их только в связке с tar, который обеспечит сохранность метаданных.

Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

7. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от Аноним (6), 02-Мрт-22, 20:04

zcat in.tar.gz | lzma > out.tar.lzma

Ответить | Правка | Наверх | Cообщить модератору

12. "Скрипт для конвертации архива gz в lzma" –1 +/–

Сообщение от john_erohin (?), 04-Мрт-22, 07:55

> zcat in.tar.gz | lzma > out.tar.lzma
не все так хорошо.
от использования cpulimit в tar.gz появился концевой мусор,
поэтому придеься усложнить проверку:

GZT=`mktemp`
/usr/bin/eatmydata -- \
  /usr/bin/nice -19 \
   /usr/bin/chrt --idle 0 \
    /usr/bin/ionice -c 3 \
      gzip -vt $F.gz > $GZT 2>&1
  RC=$?
  if [ $RC -ge 1 ]; then
    grep -q "decompression OK, trailing garbage ignored" $GZT
    if [ $? -eq 0 ]; then
      RC=0
    else
      echo error $RC in $F.gz : integrity test failed
      rm $GZT
      exit $RC
    fi
  fi

Ответить | Правка | Наверх | Cообщить модератору

57. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от OpenEcho (?), 25-Фев-23, 23:17

А зачем вот это все?
>  /usr/bin/eatmydata -- \
>   /usr/bin/nice -19 \
>    /usr/bin/chrt --idle 0 \
>     /usr/bin/ionice -c 3 \

Ответить | Правка | Наверх | Cообщить модератору

8. "Скрипт для конвертации архива gz в lzma" +3 +/–

Сообщение от Аноним (6), 02-Мрт-22, 20:09

А скрипт просто ужасен. Переменные без кавычек после rm и mv - верный путь удалить себе ноги или переместить их вместо рук.
Надо так:
mv -v -- "$F"
rm -v -- "$F"

Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

33. "Скрипт для конвертации архива gz в lzma" –1 +/–

Сообщение от Аноним (34), 07-Апр-22, 03:19

Переменная проверяется до mv и rm, смысла нет засирать кавычками и флажками. Если что-то такое с пробелами в $F подсунуть, иф упадет.
У вас просто догма - нужно все обкавычивать, как бы чего не вышло.

Ответить | Правка | Наверх | Cообщить модератору

36. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от Аноним (36), 13-Апр-22, 12:23

Из каких конструкций можно понять, что переменная действительно проверяется до mv и rm? Неочевидно и неизвестно никому через два месяца.
Без кавычек при вносе изменений придётся каждый раз, каждый раз, перечитывать всё, убеждаясь и разыскивая, что переменная проверяется до mv и rm. Это трата времени и внимания.
Подход с кавычками не требует анализировать весь скрипт каждый раз.
(Но, этот шелл такой шелл, что чтобы окавычивать и не перечитывать всё каждый раз с нуля, нужно окавычивать вообще всё всегда или сохраняется необходимость перечитки кода при вносе изменения. Такая магия развёртки переменных в кавычках и без, более-менее однозначность только если вообще всегда в кавычках. А иначе - тоже вчитываться надо опытному магу.)
Потому кавычки упрощают в долгосрочной перспективе.
P.S. В Шелле нет хорошего способа программировать. Инструмент для другого. Инструмент админа для интеграции/связи утилит, написанных на богатых инструментами и средствами программирования языках.

Ответить | Правка | Наверх | Cообщить модератору

46. "Скрипт для конвертации архива gz в lzma" +1 +/–

Сообщение от Аноним (46), 28-Апр-22, 15:26

> Переменная проверяется до mv и rm, смысла нет засирать кавычками и флажками.
Дешёвые понты. "Засирать" - это как раз про такой говнокод, в котором нужно постоянно разбираться, что за чем проверялось. А двойные кавычки и EoO спасут ещё не один системный корень.

Ответить | Правка | К родителю #33 | Наверх | Cообщить модератору

58. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от OpenEcho (?), 25-Фев-23, 23:22

> У вас просто догма - нужно все обкавычивать, как бы чего не вышло.
Значит вы еще не наступали на грабли, иначе бы знали почему шелчек ругается на безковычковые переменные

Ответить | Правка | К родителю #33 | Наверх | Cообщить модератору

14. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от Аноним (14), 22-Мрт-22, 15:59

Но зачем в устаревший lzma, а не в xz?

Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

18. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от john_erohin (?), 26-Мрт-22, 13:20

> Но зачем в устаревший lzma, а не в xz?
по результатам тестов. у lzma лучше результаты на этой коллекции.

Ответить | Правка | Наверх | Cообщить модератору

53. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от Werwolf (ok), 04-Окт-22, 12:24

zstd пробовали?

Ответить | Правка | Наверх | Cообщить модератору

59. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от OpenEcho (?), 25-Фев-23, 23:27

> zstd пробовали?
Хорош, но очень уж голоден до памяти, S2 не хуже, быстрей и жрет памяти меньше

Ответить | Правка | Наверх | Cообщить модератору

5. "Скрипт для конвертации архива gz в lzma" +2 +/–

Сообщение от Аноним (5), 02-Мрт-22, 12:07

Мы всегда когда-то только учились.

Ответить | Правка | Наверх | Cообщить модератору

10. "Раздел полезных советов: Скрипт для конвертации архива gz в lzma" +/–

Сообщение от Омомо (?), 03-Мрт-22, 22:31

"не нужно! этот ваш шелл нечитаемый. пишите на нормальных языках!"
(я не знаю стандартные утилиты, не понимаю, зачем был сделан шелл, не знаю, что такое stdio и статус завершения процесса, пишу на питоне)

Ответить | Правка | Наверх | Cообщить модератору

25. "Раздел полезных советов: Скрипт для конвертации архива gz в lzma" +2 +/–

Сообщение от ммнюмнюмус (?), 31-Мрт-22, 23:34

Выглядит как сарказм, зачем это минусовать.

Ответить | Правка | Наверх | Cообщить модератору

13. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от i (??), 09-Мрт-22, 01:29

Одно дело написать скриптец, чтобы он за вечерок перелопатил что-то, или за выходные, и совсем другое делать готовое решение, решение которое должно кроме защиты от инжектов включать защиты от двойного запуска, уметь определять когда оно было прервано, чтобы продолжать с нужного места, на баше это конечно делается, но настолько муторно, что проще переписать на чем-то вменяемом.

Ответить | Правка | Наверх | Cообщить модератору

15. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от Pavel (??), 23-Мрт-22, 16:04

А чего тут муторного?
PIDFILE="/run/myscript.pid"
if [ -f "${PIDFILE}" ]; then
    pkill -0 -F "${PIDFILE}" \
    && echo "Script already run" \
    && exit 0 \
    || echo "Starting new instance"
fi
echo $$ > "${PIDFILE}"

Ответить | Правка | Наверх | Cообщить модератору

26. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от ммнюмнюмус (?), 31-Мрт-22, 23:37

> А чего тут муторного?
> PIDFILE="/run/myscript.pid"
> if [ -f "${PIDFILE}" ]; then
>     pkill -0 -F "${PIDFILE}" \
>     && echo "Script already run" \
>     && exit 0 \
>     || echo "Starting new instance"
> fi
> echo $$ > "${PIDFILE}"
Если на полную катушку, то у шеллов (не только bash) должны быть стандартные пути для скриптов-библиотек, включая сами библиотеки. Вот это была бы моща.

Ответить | Правка | Наверх | Cообщить модератору

37. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от Аноним (36), 13-Апр-22, 12:40

Так это делают: source /папка/файл
Только тогда необходимость учитывать в каждый момент времени много скушных неочевидных обстоятельств. Которые в продвинутых языках не допускают для уменьшения числа ошибок.
Знания, что у каких-то топовых шелл 'set +e' будет принудительно сделан по POSIX при уровне вложенности более x (x=2, если верно помню), хоть бы и напишешь 'set -e'. И т.д. про '-o pipefail'. Что надёжные коды возврата из функций только строго беззнаковый байт.
Что если при 'set -x' есть $0 и $LINENO внутри PS4, то в случае source сработает неудобно.
Пространства имён переменных. Вот это всё про local, export... Проблемность глобальности переменных.
Кодить можно, но есть другие более предназначенные для того инструменты.

Ответить | Правка | Наверх | Cообщить модератору

39. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от ммнюмнюмус (?), 17-Апр-22, 16:16

> Знания, что у каких-то топовых шелл 'set +e' будет принудительно сделан по POSIX при уровне вложенности более x (x=2, если верно помню), хоть бы и напишешь 'set -e'
А это точно есть в posix?
posix-мануал для set про это ни слова (про опцию -e), да и слов force / nest там не найдено.
По моему, если про это не сказано в стандарте, значит это против него).

Ответить | Правка | Наверх | Cообщить модератору

40. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от ммнюмнюмус (?), 17-Апр-22, 16:32

'-o pipefail' тоже не по posix

Ответить | Правка | К родителю #37 | Наверх | Cообщить модератору

28. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от ммнюмнюмус (?), 31-Мрт-22, 23:51

# То же самое, но чуть более читаемо
PIDFILE="/run/myscript.pid"
if [ -f "${PIDFILE}" ] && pkill -0 -F "${PIDFILE}"; then
    echo "Script already run"
    exit 0
fi
echo "Starting new instance"
echo $$ > "${PIDFILE}"

Ответить | Правка | К родителю #15 | Наверх | Cообщить модератору

32. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от Аноним (34), 07-Апр-22, 03:06

> А чего тут муторного?
> PIDFILE="/run/myscript.pid"
> if [ -f "${PIDFILE}" ]; then
>     pkill -0 -F "${PIDFILE}" \
>     && echo "Script already run" \
>     && exit 0 \
>     || echo "Starting new instance"
> fi
> echo $$ > "${PIDFILE}"
Вроде бы есть утилитка, которая нечто подобное реализует.

Ответить | Правка | К родителю #15 | Наверх | Cообщить модератору

16. "Скрипт для конвертации архива gz в lzma" +1 +/–

Сообщение от pavlinux (ok), 26-Мрт-22, 11:45

LZMA было модно лет 15 назад, ща ZSTD в тренде.  https://github.com/facebook/zstd

Ответить | Правка | Наверх | Cообщить модератору

60. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от OpenEcho (?), 25-Фев-23, 23:34

> LZMA было модно лет 15 назад, ща ZSTD в тренде.  https://github.com/facebook/zstd
S2 ИМХО значительно, лучше

Ответить | Правка | Наверх | Cообщить модератору

19. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от pavlinux (ok), 26-Мрт-22, 18:30

> /usr/bin/nice -19 \
> /usr/bin/chrt --idle 0 \
> /usr/bin/ionice -c 3 \
Дедовские методы и особо без гарантий.
# mount -t cgroup -o all cgroup /sys/fs/cgroup;
# mkdir /sys/fs/cgroup/$$
# cd /sys/fs/cgroup/$$
...
и понеслось рулить лимитами
...

Ответить | Правка | Наверх | Cообщить модератору

35. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от AntiSmoozer (?), 11-Апр-22, 00:13

Смузи выпил?

Ответить | Правка | Наверх | Cообщить модератору

38. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от Аноним (36), 13-Апр-22, 12:43

Так ведь у автора зато без sudo.

Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

43. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от pavlinux (ok), 25-Апр-22, 11:30

> Так ведь у автора зато без sudo.
Афтор - чайник, у него "/usr/bin/nice -19",
он наверное не в курсе, что МИНУС 19 - это макс. приоритет в планировщике.  :D

Не, ну мож наоборот, он гений. И вычислил, что комбинация: "nice -19, chrt --idle 0, ionice -c 3"
даёт минимальный оверхэд. Типа в планировщике по-быстренькому отдуплился и дальше ждать ушёл.

Но у меня такое ощщущенние, что это больше на DoS похоже.
В планировщике задач будет часто появляться, при этом у таймера будет приоритет IDLE 0,
но планировщик его не вытолкнет, будет ждать окончания ionice 3;


Ответить | Правка | Наверх | Cообщить модератору

48. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от john_erohin (?), 12-Май-22, 21:55

> Афтор - чайник, у него "/usr/bin/nice -19",
> он наверное не в курсе, что МИНУС 19 - это макс. приоритет
> в планировщике.  :D
тонко !
я даже начал сомневаться в себе. но потом проверил.
0) есть builtin nice в разных шеллах, несовместимое внутри себя. а есть вот чего:
$ file /usr/bin/nice
/usr/bin/nice: ELF 64-bit LSB pie executable, x86-64, version 1 (SYSV), dynamically linked, interpreter /lib64/ld-linux-x86-64.so.2, BuildID[sha1]=2d64570259ee4ea90022ff7c87afbce7b6366f17, for GNU/Linux 3.2.0, stripped
я по очевидным причинам использую именно это.
1) man top
/NI
13. NI  --  Nice Value
The  nice  value  of  the  task.   A  negative  nice value means higher priority, whereas a
positive nice value means lower priority.  Zero in this field simply  means  priority  will
not be adjusted in determining a task's dispatch-ability.
2) и вот представьте себе, процессы запущенные через "/usr/bin/nice -19"
по данным top имеют NI = 19 (плюс 19),
а треды ядра типа rcu* и mm* имеют NI = -20 (минус двадцать).
что бы это значило ?

Ответить | Правка | Наверх | Cообщить модератору

49. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от pavlinux (ok), 21-Май-22, 17:07

Косяк это шелов и окружений (env), если nice -19 exec у тебя показывает наименьший,
то nice 19 exec не сможешь указать. Чтоб работало везде пиши: nice -n 19 или nice -n -19;
> а треды ядра типа rcu* и mm* имеют NI = -20 (минус двадцать).
> что бы это значило ?
Это значит у них максимальный приоритет!!!

Ответить | Правка | Наверх | Cообщить модератору

50. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от john_erohin (?), 10-Июн-22, 22:17

> Чтоб работало везде пиши: nice -n 19 или nice -n -19;
отказать. чтобы работало везде надо вызывать /usr/bin/nice именно так как написано.

Ответить | Правка | Наверх | Cообщить модератору

61. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от OpenEcho (?), 25-Фев-23, 23:37

> Но у меня такое ощщущенние, что это больше на DoS похоже.
Угу, у меня такое-же мнение

Ответить | Правка | К родителю #43 | Наверх | Cообщить модератору

41. "Скрипт для конвертации архива gz в lzma" +/–

Сообщение от Ano (?), 18-Апр-22, 17:04

Скрипт прочтения man gz lzma bash

Ответить | Правка | Наверх | Cообщить модератору

44. "Раздел полезных советов: Скрипт для конвертации архива gz в lzma" +/–

Сообщение от pavlinux (ok), 25-Апр-22, 12:23

#!/bin/bash
#
# перед стартом проверить наличие find, file, rename, stat, chmod, chown, touch, zcat, lzma, ...
for d in $(find -noleaf -xdev -type d)
   do
      pushd .;
      cd $d
      for i in $(ls -1 *[gG][zZ]); # .tgz, .GZ тоже бывают.
         do
           if [ "$(file --mime-type $i|cut -d' ' -f2)" != "application/gzip" ];
              then
                   continue;
           fi
           # тут должно быть определение прав доступа на (запись, chmod/chown оригинала)
           zcat $i | lzma -cz9 > $i.lzma;
           touch -a -d "`stat -c '%x' $i`" $i.lzma;
           touch -m -d "`stat -c '%y' $i`" $i.lzma;
           chown "`stat --printf '%u:%g' $i`" $i.lzma;
           chmod "`stat -c '%a' $i`" $i.lzma;
           rename 's/gz.lzma/lzma/' $i.lzma
           rm $i;
       done;
      popd;
done

Ответить | Правка | Наверх | Cообщить модератору

45. "Раздел полезных советов: Скрипт для конвертации архива gz в lzma" +/–

Сообщение от Аноним (46), 28-Апр-22, 15:18

> if [ "$(file --mime-type $i|cut -d' ' -f2)" != "application/gzip" ]; then continue; fi
case "$(env LC_ALL=C file --mime-type --brief -- "${i}")" in application/gzip) continue ;; esac

Ответить | Правка | Наверх | Cообщить модератору

51. "Раздел полезных советов: Скрипт для конвертации архива gz в lzma" +/–

Сообщение от другой Аноним (?), 25-Июн-22, 14:02

[~/src]:$ file --ver
file-5.33
magic file from /etc/magic:/usr/share/misc/magic
[~/src]:$ file --mime-type gpu_burn-0.4.tar.gz
gpu_burn-0.4.tar.gz: application/x-gzip
--
надо бы ещё проверять, а все ли утилиты файл возвращают application/gzip или кто-то application/x-gzip?

Ответить | Правка | К родителю #44 | Наверх | Cообщить модератору

52. "Раздел полезных советов: Скрипт для конвертации архива gz в lzma" +/–

Сообщение от pavlinux (ok), 20-Июл-22, 19:12

> надо бы ещё проверять, а все ли
Я тож считают, что за время гемора в разработке этого скрипта,
можно было заработать на покупку 100Tb SSD. Это к вопросу об экономии места.
Портабельность тут почти на нуле. Напр. на SCO UNIX иль IRIX 7 не взлетит.
Не полетит на busybox-based дистрах, в Андроидах, скорее всего с BSD до 9 будут проблемы...

Для универсальности надо либо писать на ANSI C89/C++98/Perl 2.0/Python2,
либо тестить скрипты в csh на FreeBSD/NetBSD версий 1997-2000 годов.

Ответить | Правка | Наверх | Cообщить модератору

62. "Раздел полезных советов: Скрипт для конвертации архива gz в lzma" +/–

Сообщение от OpenEcho (?), 25-Фев-23, 23:40

> for i in $(ls -1 *[gG][zZ]);
С этим можно хорошенько нарваться если в директории будет очень много файлов, т.к. можно легко нарваться на лимит CLI

Ответить | Правка | К родителю #44 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Скрипт для конвертации архива gz в lzma"	+15 +/–
Сообщение от ABATAPA (ok), 27-Фев-22, 18:44
Привер того, как нельзя делать: переменные без кавычек, вызов внешних программ с простой передачей им "голых" переменных (которые подставляются в exec), двойное раскодирование (сперва "тест", потом основное) вместо обработки кодов возврата... Корявый скрипт новичка.
Ответить \| Правка \| Наверх \| Cообщить модератору

2. "Скрипт для конвертации архива gz в lzma"	+7 +/–
Сообщение от Аноним (2), 28-Фев-22, 20:45
соглашусь с предыдущим оратором. Автор, вбей свой скрипт в shellcheck. > Скрипт для конвертации архива gz в lzma что за задачка такая странная? Зачем это вообще нужно? > echo printf > if условие; then > практически весь скрипт > else > какой-то однострочный пустяк > fi просто проверь в самом начале на плохое условие и сделай ранний выход. Зачем весь скрипт помещать внутрь гигантского ифа? > /usr/bin не понимать, зачем универсальному кросс-дистровому скрипту хардкодить пути к бинарям. А если я захочу переопределить $PATH? > CopyLeft (L) Что за лицензия такая? > echo error: no input file $F or $F.gz > exit 1 почему ошибки идут в stdout, а не в stderr? где стандартная преамбула, врубающая строгий режим? типа set -euo pipefail shopt -s inherit_errexit почему у переменных однобуквенные названия? да ты и сам спустя месяц забудешь, что они значат > if [ -f $F.gz ] че за бред, это не единственная IO-ошибка, которая может возникнуть. Об этих ошибках должна рапортовать вызываемая прога, а твое дело -- просто вовремя выходить и не глушить ее stdout/err.
Ответить \| Правка \| Наверх \| Cообщить модератору


	9. "Скрипт для конвертации архива gz в lzma"	+1 +/–
	Сообщение от Омомо (?), 03-Мрт-22, 22:25
	> set -euo pipefail > shopt -s inherit_errexit там в шебанге -- `/bin/sh`, нет никакого pipefail. какой такой шопт? его тоже нет.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	11. "Скрипт для конвертации архива gz в lzma"	+2 +/–
	Сообщение от john_erohin (?), 04-Мрт-22, 07:46
	> там в шебанге -- `/bin/sh`, нет никакого pipefail. однако "set -e" есть. > какой такой шопт? его тоже нет. есть такие потребители смузей, что линкуют жырный bash на /bin/sh
	Ответить \| Правка \| Наверх \| Cообщить модератору


	21. "Скрипт для конвертации архива gz в lzma"	+/–
	Сообщение от ммнюмнюмус (?), 29-Мрт-22, 02:30
	Не знаю, как в gentoo, но в calculate по дефолту. А может и в gentoo тоже.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	42. "Скрипт для конвертации архива gz в lzma"	+/–
	Сообщение от ммнюмнюмус (?), 19-Апр-22, 22:08
	> есть такие потребители смузей, что линкуют жырный bash на /bin/sh А ещё у bash конвейеры передают быстрее, чем (внезапно) тот же dash, сам мерял.
	Ответить \| Правка \| К родителю #11 \| Наверх \| Cообщить модератору


	29. "Скрипт для конвертации архива gz в lzma"	–1 +/–
	Сообщение от Аноним (29), 03-Апр-22, 05:56
	Пытаться сделать что-то с POSIX-шеллом сложнее hello world — бесполезная трата времени. Писать на баше это разумный и оптимальный подход, за исключением 3½ вырожденных случаев, которые ты за свою жизнь в дикой природе не встретишь, а если встретишь, то и там тоже будет баш.
	Ответить \| Правка \| К родителю #9 \| Наверх \| Cообщить модератору


	30. "Скрипт для конвертации архива gz в lzma"	+/–
	Сообщение от john_erohin (?), 06-Апр-22, 05:50
	> Пытаться сделать что-то с POSIX-шеллом сложнее hello world — бесполезная трата времени. на чистом /bin/sh - да, возможно. но зачем, если есть grep, sed и awk.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	34. "Скрипт для конвертации архива gz в lzma"	+/–
	Сообщение от Аноним (34), 07-Апр-22, 03:31
	Если что-то трудно изобразить на чистом шелле, то на баше получится урод еще покруче. Как раз 3.5 случая, когда башизмы хорошо ложатся. Лично мне проще писать на примитивном и простом как палка шелле, чем зазубривать все особенности баша.
	Ответить \| Правка \| К родителю #29 \| Наверх \| Cообщить модератору


	54. "Скрипт для конвертации архива gz в lzma"	+/–
	Сообщение от OpenEcho (?), 25-Фев-23, 19:24
	> чем зазубривать все особенности баша. которые к тому же могут быть не совместимыми между версиями
	Ответить \| Правка \| Наверх \| Cообщить модератору


	55. "Скрипт для конвертации архива gz в lzma"	+/–
	Сообщение от OpenEcho (?), 25-Фев-23, 19:28
	> Пытаться сделать что-то с POSIX-шеллом сложнее hello world — бесполезная трата времени. Так и запишем, - "не одолел" :) На чистом шеле + стандартных утилитах типа sed, awk, tr, jq... можно написать большинство админовских задач ^значительно быстрее^ чем использование более высокоуровневых языков
	Ответить \| Правка \| К родителю #29 \| Наверх \| Cообщить модератору

3. "Скрипт для конвертации архива gz в lzma"	–4 +/–
Сообщение от john_erohin (?), 28-Фев-22, 21:43
> что за задачка такая странная? Зачем это вообще нужно? я хочу перепаковать. накопилось всякого в tar.gz, CPU и память есть. в дальнейшем переведу упаковку логов в lzma. >> echo > printf отказать. снижает читаемость. > Зачем весь скрипт помещать внутрь гигантского ифа? "структурное програмирование". слыхали про такую парадигму ? > зачем универсальному кросс-дистровому скрипту linux only. существенно используется https://www.opennet.ru/tips/3187_idle_cpulimit_limit_process... > почему ошибки идут в stdout, а не в stderr? справделиво. я исправлю это. > где стандартная преамбула, врубающая строгий режим? в dash этого нет. и наконец: > > CopyLeft (L) > Что за лицензия такая? как копирайт, только наоборот. google it.
Ответить \| Правка \| Наверх \| Cообщить модератору


	4. "Скрипт для конвертации архива gz в lzma"	+4 +/–
	Сообщение от Аноним (2), 01-Мрт-22, 07:55
	> отказать. снижает читаемость echo не надежен, т. к. не дает универсального интерфейса для вывода самых разных строк. Например, выведи мне строку "-n". Вот попробуй сам: echo -n > "структурное програмирование". слыхали про такую парадигму ? если весь код оформлять чисто структурно, то он быстро перейдет в трудноподдерживаемое состояние. Вместо этого следует использовать контрактное программирование, при котором все предусловия проверяются еще до начала работы. (Забудем на минуту, что конкретно в этом скрипте предусловия проверять вообще не надо -- пусть падает вызываемая прога.) > linux only че за рандомная ссылка? как она отвечает на мой вопрос? > в dash этого нет. Ну а в каких шеллах ты вообще проверял свой скрипт, раз хочешь "кросс-шелловость"? bash? csh? zsh? ash? fish? > как копирайт, только наоборот. google it. нет такой лицензии "копирайт". Нет такой лицензии "копилефт". google it: https://choosealicense.com/
	Ответить \| Правка \| Наверх \| Cообщить модератору


	17. "Скрипт для конвертации архива gz в lzma"	+/–
	Сообщение от pavlinux (ok), 26-Мрт-22, 11:59
	Например, выведи мне строку "-n". echo -e '\b-n'
	Ответить \| Правка \| Наверх \| Cообщить модератору


	22. "Скрипт для конвертации архива gz в lzma"	+/–
	Сообщение от ммнюмнюмус (?), 29-Мрт-22, 02:38
	> Например, выведи мне строку "-n". > echo -e '\b-n' А если переносимо, чтоб и на bash и на dash? Например, dash выдаст: -e-n В стандарте на posix shell вообще нет echo. printf '%s' "строка" # Вполне читаемо
	Ответить \| Правка \| Наверх \| Cообщить модератору


	23. "Скрипт для конвертации архива gz в lzma"	+1 +/–
	Сообщение от pavlinux (ok), 29-Мрт-22, 12:24
	>> Например, выведи мне строку "-n". >> echo -e '\b-n' > А если переносимо, чтоб и на bash и на dash? [ $SHELL == "dash" ] then [ $SHELL == "bash" ] then [ $SHELL == "mash" ] then [ $SHELL == "sash" ] then > Например, dash выдаст: -e-n On XSI-conformant systems, if the first operand is -n, it shall be treated as a string, not an option. The following character sequences shall be recognized on XSI-conformant systems within any of the arguments: Так что, это ты пишешь не по стандарту, а не echo плохое. :D > В стандарте на posix shell вообще нет echo. The Open Group Base Specifications Issue 7, 2018 edition IEEE Std 1003.1-2017 (Revision of IEEE Std 1003.1-2008) Copyright © 2001-2018 IEEE and The Open Group https://pubs.opengroup.org/onlinepubs/9699919799.2018edition/
	Ответить \| Правка \| Наверх \| Cообщить модератору


	24. "Скрипт для конвертации архива gz в lzma"	+/–
	Сообщение от ммнюмнюмус (?), 31-Мрт-22, 22:50
	>>> Например, выведи мне строку "-n". >>> echo -e '\b-n' >> А если переносимо, чтоб и на bash и на dash? > [ $SHELL == "dash" ] then > [ $SHELL == "bash" ] then > [ $SHELL == "mash" ] then > [ $SHELL == "sash" ] then Кажется, вы предлагали echo для компактности. Все, гуляй компактность. >> Например, dash выдаст: -e-n > On XSI-conformant systems, if the first operand is -n, it shall be > treated as a string, > not an option. The following character sequences shall be recognized on XSI-conformant > systems within any of the arguments: Прямо перед этим: > If the first operand is -n, or if any of the operands contain a <backslash> character, the results are implementation-defined. =============== > Так что, это ты пишешь не по стандарту, а не echo плохое. > :D printf един, а у echo >APPLICATION USAGE > It is not possible to use echo portably across all POSIX systems unless both -n (as the first argument) and escape sequences are omitted. > The printf utility can be used portably to emulate any of the traditional behaviors of the echo utility as follows (assuming that IFS has its standard value or is unset): ================ >> В стандарте на posix shell вообще нет echo. > The Open Group Base Specifications Issue 7, 2018 edition > IEEE Std 1003.1-2017 (Revision of IEEE Std 1003.1-2008) > Copyright © 2001-2018 IEEE and The Open Group > https://pubs.opengroup.org/onlinepubs/9699919799.2018edition/ Ну тогда уж сюда, а то еще раздел "Command language" искать. https://pubs.opengroup.org/onlinepubs/9699919799.2018edition... И то - сам стандарт прямо говорит, что переносимость у echo так себе. Вот делать нечего, как зачитывать все эти имена вместо одной строчки printf. Не та цель.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	47. "Скрипт для конвертации архива gz в lzma"	+/–
	Сообщение от echomaster (?), 07-Май-22, 20:58
	echo - -n
	Ответить \| Правка \| К родителю #4 \| Наверх \| Cообщить модератору


	56. "Скрипт для конвертации архива gz в lzma"	+/–
	Сообщение от OpenEcho (?), 25-Фев-23, 19:35
	> разных строк. Например, выведи мне строку "-n". Вот попробуй сам: echo -n Я что то не понял, а в чем проблема? echo -n '-n'
	Ответить \| Правка \| К родителю #4 \| Наверх \| Cообщить модератору


	6. "Скрипт для конвертации архива gz в lzma"	+4 +/–
	Сообщение от Аноним (6), 02-Мрт-22, 20:03
	> хочу перепаковать .. в lzma zcat in.tar.gz \| lzma > out.tar.xz Использования неименованного канала командной оболочки предотвращает передачу метаданных сжатого файла tar-архива. Но метаданные файлов внутри tar-архива хранятся в самом tar-архиве и сохраняются, он вообще не распаковывается. Так как и gzip, и xz (lzma) умеют сжимать только один файл, имеет смысл использовать их только в связке с tar, который обеспечит сохранность метаданных.
	Ответить \| Правка \| К родителю #3 \| Наверх \| Cообщить модератору


	7. "Скрипт для конвертации архива gz в lzma"	+/–
	Сообщение от Аноним (6), 02-Мрт-22, 20:04
	zcat in.tar.gz \| lzma > out.tar.lzma
	Ответить \| Правка \| Наверх \| Cообщить модератору


	12. "Скрипт для конвертации архива gz в lzma"	–1 +/–
	Сообщение от john_erohin (?), 04-Мрт-22, 07:55
	> zcat in.tar.gz \| lzma > out.tar.lzma не все так хорошо. от использования cpulimit в tar.gz появился концевой мусор, поэтому придеься усложнить проверку: GZT=`mktemp` /usr/bin/eatmydata -- \ /usr/bin/nice -19 \ /usr/bin/chrt --idle 0 \ /usr/bin/ionice -c 3 \ gzip -vt $F.gz > $GZT 2>&1 RC=$? if [ $RC -ge 1 ]; then grep -q "decompression OK, trailing garbage ignored" $GZT if [ $? -eq 0 ]; then RC=0 else echo error $RC in $F.gz : integrity test failed rm $GZT exit $RC fi fi
	Ответить \| Правка \| Наверх \| Cообщить модератору


	57. "Скрипт для конвертации архива gz в lzma"	+/–
	Сообщение от OpenEcho (?), 25-Фев-23, 23:17
	А зачем вот это все? > /usr/bin/eatmydata -- \ > /usr/bin/nice -19 \ > /usr/bin/chrt --idle 0 \ > /usr/bin/ionice -c 3 \
	Ответить \| Правка \| Наверх \| Cообщить модератору


	8. "Скрипт для конвертации архива gz в lzma"	+3 +/–
	Сообщение от Аноним (6), 02-Мрт-22, 20:09
	А скрипт просто ужасен. Переменные без кавычек после rm и mv - верный путь удалить себе ноги или переместить их вместо рук. Надо так: mv -v -- "$F" rm -v -- "$F"
	Ответить \| Правка \| К родителю #3 \| Наверх \| Cообщить модератору


	33. "Скрипт для конвертации архива gz в lzma"	–1 +/–
	Сообщение от Аноним (34), 07-Апр-22, 03:19
	Переменная проверяется до mv и rm, смысла нет засирать кавычками и флажками. Если что-то такое с пробелами в $F подсунуть, иф упадет. У вас просто догма - нужно все обкавычивать, как бы чего не вышло.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	36. "Скрипт для конвертации архива gz в lzma"	+/–
	Сообщение от Аноним (36), 13-Апр-22, 12:23
	Из каких конструкций можно понять, что переменная действительно проверяется до mv и rm? Неочевидно и неизвестно никому через два месяца. Без кавычек при вносе изменений придётся каждый раз, каждый раз, перечитывать всё, убеждаясь и разыскивая, что переменная проверяется до mv и rm. Это трата времени и внимания. Подход с кавычками не требует анализировать весь скрипт каждый раз. (Но, этот шелл такой шелл, что чтобы окавычивать и не перечитывать всё каждый раз с нуля, нужно окавычивать вообще всё всегда или сохраняется необходимость перечитки кода при вносе изменения. Такая магия развёртки переменных в кавычках и без, более-менее однозначность только если вообще всегда в кавычках. А иначе - тоже вчитываться надо опытному магу.) Потому кавычки упрощают в долгосрочной перспективе. P.S. В Шелле нет хорошего способа программировать. Инструмент для другого. Инструмент админа для интеграции/связи утилит, написанных на богатых инструментами и средствами программирования языках.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	46. "Скрипт для конвертации архива gz в lzma"	+1 +/–
	Сообщение от Аноним (46), 28-Апр-22, 15:26
	> Переменная проверяется до mv и rm, смысла нет засирать кавычками и флажками. Дешёвые понты. "Засирать" - это как раз про такой говнокод, в котором нужно постоянно разбираться, что за чем проверялось. А двойные кавычки и EoO спасут ещё не один системный корень.
	Ответить \| Правка \| К родителю #33 \| Наверх \| Cообщить модератору


	58. "Скрипт для конвертации архива gz в lzma"	+/–
	Сообщение от OpenEcho (?), 25-Фев-23, 23:22
	> У вас просто догма - нужно все обкавычивать, как бы чего не вышло. Значит вы еще не наступали на грабли, иначе бы знали почему шелчек ругается на безковычковые переменные
	Ответить \| Правка \| К родителю #33 \| Наверх \| Cообщить модератору


	14. "Скрипт для конвертации архива gz в lzma"	+/–
	Сообщение от Аноним (14), 22-Мрт-22, 15:59
	Но зачем в устаревший lzma, а не в xz?
	Ответить \| Правка \| К родителю #3 \| Наверх \| Cообщить модератору


	18. "Скрипт для конвертации архива gz в lzma"	+/–
	Сообщение от john_erohin (?), 26-Мрт-22, 13:20
	> Но зачем в устаревший lzma, а не в xz? по результатам тестов. у lzma лучше результаты на этой коллекции.
	Ответить \| Правка \| Наверх \| Cообщить модератору