forum.opennet.ru - "Разработчики Ubuntu проанализировали эффективность включения PGO-оптимизации" (67)

"Разработчики Ubuntu проанализировали эффективность включения PGO-оптимизации"

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Разработчики Ubuntu проанализировали эффективность включения PGO-оптимизации"	+/–
Сообщение от opennews (??), 20-Ноя-24, 09:49
Компания Canonical опубликовала результат оценки изменения производительности при пересборке пакетов с включением оптимизации на основе результатов профилирования кода (PGO - Profile-guided optimization), позволяющей генерировать более оптимальный код на основе анализа особенностей выполнения программы. В ходе проделанной работы был сделан вывод, что включение PGO-оптимизации позволило на 5-7% снизить нагрузку на CPU и ускорить время сборки... Подробнее: https://www.opennet.ru/opennews/art.shtml?num=62262
Ответить \| Правка \| Cообщить модератору

Оглавление

Питон раза в 2 ускоряется в пго билде с парой дополнительных флагов , Аноним (1), 09:49 , 20-Ноя-24, (1) +1

Самый лучший способ ускорить питоновские приложения -- это переписать их на друг, Аноним (4), 10:03 , 20-Ноя-24, (4) +29

Это надо переписывать Поверь, бесплатное ускорение это очень выгодно А если по, Аноним (1), 10:06 , 20-Ноя-24, (5) +2

только оно не бесплатное, Бывалый Смузихлёб (ok), 13:45 , 20-Ноя-24, (43)

Ничего не надо делать, пару команд в сборочный скрипт добавить Прочее ускорение, Аноним (1), 13:58 , 20-Ноя-24, (44) +4

PGO нифига не бесплатно чтобы это реально работало надо профиль отстроить И эт, Аноним (-), 13:19 , 21-Ноя-24, (70)

Переписывать дорого А надеяться на всякие хаки которые позволяют выжать из пито, Аноним (59), 23:30 , 20-Ноя-24, (59) –3
На питоне изначально не надо писать, тогда и переписывать не придётся, Аноним (66), 12:01 , 21-Ноя-24, (66)

Быстро, удобно, есть готовые компоненты приемлемого уровня для решения большинст, Аноним (1), 12:35 , 21-Ноя-24, (69)

Время первого запуска возрастает до бесконечности Не самый лучший способ , Аноним (9), 10:17 , 20-Ноя-24, (9) +2
Ага, на ассемблер, но есть нюанс , Аноним (15), 10:36 , 20-Ноя-24, (15) +1

Ассемблер может что ускорить только путем срезания острых углов дополнительных п, Аноним (19), 10:42 , 20-Ноя-24, (19) –4

Как показала соседняя новость с питонокодом в needrestart е убунт - там тоже с б, Аноним (32), 11:34 , 20-Ноя-24, (32) –2
Не только, он ещё может и манипулировать памятью так как ни в одном языке вы это, Аноним (-), 22:20 , 20-Ноя-24, (56) –1

Редхат что-то такое и начал наконец для своего пакетника Правда, на цать лет по, Аноним (-), 11:33 , 20-Ноя-24, (31)
Лучший способ написать хорошее приложение - это сначала написать плохое Прогрес, Соль земли (?), 12:58 , 20-Ноя-24, (41) +1

Нет Написав плохое приложение, вы не напишете хорошее, если не будете к этому с, YetAnotherOnanym (ok), 23:19 , 20-Ноя-24, (58) –1

Это вы по тем графикам вывод сделали Обожаю графики где ось начинается не с нол, Аноним (-), 10:16 , 20-Ноя-24, (8) +5

Нет конечно, эти лалки открыли для себя пго 10 лет спустя после всех остальных , Аноним (1), 10:39 , 20-Ноя-24, (17)

Шляпа как видим тоже - та еще шляпа Ибо теперь это IBM и ваш чемодан денег им у, Аноним (-), 11:24 , 20-Ноя-24, (28)

Скачал Python 3 10, и он ПО УМОЛЧАНИЮ собирался с PGO Скомпилился, долго выполн, Archer73 (ok), 10:57 , 20-Ноя-24, (21)

Да, но периодически проблемы с компиляторами всплывают до сих пор Корпы хотят, , Аноним (1), 11:05 , 20-Ноя-24, (22) –2

Так Федора сама по себе тестовая сборка, зачем там была нужна оптимальность непо, Аноним (19), 11:17 , 20-Ноя-24, (26) +1

У них почти все скрипты на питоне были Включая пакетный менеджер Пго это беспл, Аноним (1), 11:23 , 20-Ноя-24, (27) –1

Я наелся такого ускорения от редхата и свалил на дебианы и убунты Потому что де, Аноним (-), 11:28 , 20-Ноя-24, (29) –4

Как только ты свалил, они с yum перешли на dnf Наверное надо сказать тебе спаси, _ (??), 19:02 , 20-Ноя-24, (48)

А до этого они перешли на yum c up2date Хрен редьки не слаще Что так дрянь что, Аноним (51), 21:37 , 20-Ноя-24, (51)

По-моему, всё что угодно лучше, чем apt Это эталонный набор костылей, подпёртых, Анониссимус (?), 07:51 , 22-Ноя-24, (73)

Задача не ускорить сам Python, а ускорить сборочное окружение, собирающее Python, Аноним (24), 11:09 , 20-Ноя-24, (24)

-fno-semantic-interposition , пгуыыцрщ (?), 11:57 , 20-Ноя-24, (36)

Да, -fno-plt и -fdevirtualize-at-ltrans ещё Раньше, помню, -fwhole-program дава, Аноним (1), 12:26 , 20-Ноя-24, (39)

Ещё интресно, какой эффект от включения оптимизаций под конретный процессор , Аноним (2), 09:57 , 20-Ноя-24, (2)

Поставь Генту -- узнаешь , Минона (ok), 10:22 , 20-Ноя-24, (11) +8
https www phoronix com news Intel-Linux-3888 9-Performance, Аноним (47), 17:21 , 20-Ноя-24, (47)

Ничего эффективнее распределенной компиляции еще не придумали В условиях технол, Аноним (7), 10:11 , 20-Ноя-24, (7) –1

Скрыто модератором, Аноним (-), 10:17 , 20-Ноя-24, (10)

Скрыто модератором, пох. (?), 12:03 , 20-Ноя-24, (38) –1

Скрыто модератором, Аноним (50), 19:14 , 20-Ноя-24, (50) –1

Скрыто модератором, пох. (?), 10:15 , 21-Ноя-24, (65)

Скрыто модератором, Аноним (-), 21:43 , 20-Ноя-24, (52)

Скрыто модератором, пох. (?), 10:14 , 21-Ноя-24, (64)

Бить надо за такие графики с отсеченным нулем Желательно не только по лицу Там, Аноним (12), 10:24 , 20-Ноя-24, (12) +5

Какая разница, они же не продают эти PGO-оптимизации Во-вторых какой тогда смысл, Аноним (16), 10:37 , 20-Ноя-24, (16)

Ты на правильном пути, мой юный падаван График не нужен , Аноним (19), 10:39 , 20-Ноя-24, (18) +6

Я конечно понимаю что большинство местной аудитории гуманитарии и в расчеты не о, Аноним (19), 10:27 , 20-Ноя-24, (13) +2

60 0 07 24 100 8 мин , Аноним (24), 11:08 , 20-Ноя-24, (23)

Подгонять под результат меня и в школе и институте учили, но на графиках явно пи, Аноним (19), 11:15 , 20-Ноя-24, (25)

performance review сам себя не пройдет , пох. (?), 12:02 , 20-Ноя-24, (37) +1

А может они померят разницу не в виртуалке Да не, бред какой-то , Аноним (20), 10:52 , 20-Ноя-24, (20) +3

я что-то вообще не понял кто у них на ком стоял Они _виртуалку_ пересобрали с p, пох. (?), 11:50 , 20-Ноя-24, (35)

Да, пересобрали виртуалку, в которой собирают пакеты под risc-v для дистриба на, гулигули (?), 15:56 , 20-Ноя-24, (45)

Зачем собирать питон когда его можно скачать , Аноним (33), 11:40 , 20-Ноя-24, (33)

Поставь Gentoo по классике, поймёшь , Аноним (50), 19:10 , 20-Ноя-24, (49) +1

Ога, когда система портажей на этом самом питоне с очередным питоном вдруг не ст, Аноним (-), 21:45 , 20-Ноя-24, (53)

А вдруг там троян Ну и оптимизаций нет под себя, Вы забыли заполнить поле Name (?), 22:03 , 20-Ноя-24, (55) +1

А вы реально смотрите весь код каждого пакета перед компиляцией Может проблема , Аноним (-), 22:28 , 20-Ноя-24, (57)

Да Это как доказательство теоремы Можно асистентом прувером воспользоваться ещ, Вы забыли заполнить поле Name (?), 07:24 , 21-Ноя-24, (61) +1

Ну играл я с этим когда-то Но в моих непредсказуемых случаях от него толку , InuYasha (??), 12:37 , 20-Ноя-24, (40)
Самый быстрый способ сборки есть но он не кому не доступен , но когда будете гот, Аноним (42), 13:39 , 20-Ноя-24, (42)

Есть Apt-get называется Суть сводится к тому что проц по черному грела - билдф, Аноним (-), 21:46 , 20-Ноя-24, (54)

В Debian такие оптимизации еще нескоро попадут А в Arch уже попали , Аноним (46), 16:49 , 20-Ноя-24, (46) –1
PGO-оптимизация - это как CD-диск, так писать не грамотно , Аноним (60), 00:46 , 21-Ноя-24, (60)

Таки, или PG-оптимизация, или PGO, CD или C-диск , Аноним (62), 08:46 , 21-Ноя-24, (62) –1

Чет я не понял, каким это образом PGO ускоряет сборку, это ведь дополнительные ш, Аноним (67), 12:14 , 21-Ноя-24, (67)

В оригинальной новости ни слова про улучшение скорости сборки, значит -- пострад, Аноним (67), 12:18 , 21-Ноя-24, (68)

Как это нет, а это что We saw average CPU utilization and build time improvemen, Аноним (24), 13:25 , 21-Ноя-24, (72) –1

Читайте новость внимательнее Разница производительности оценивалась для QEMU, с, Аноним (24), 13:22 , 21-Ноя-24, (71)

Сообщения [Сортировка по ответам | RSS]

1. Сообщение от Аноним (1), 20-Ноя-24, 09:49 +1 +/–

Питон раза в 2 ускоряется в пго билде с парой дополнительных флагов.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #4, #8, #21, #36

2. Сообщение от Аноним (2), 20-Ноя-24, 09:57 +/–

Ещё интресно, какой эффект от включения оптимизаций под конретный процессор.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #11, #47

4. Сообщение от Аноним (4), 20-Ноя-24, 10:03 +29 +/–

Самый лучший способ ускорить питоновские приложения -- это переписать их на другой язык.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #5, #9, #15, #31, #41

5. Сообщение от Аноним (1), 20-Ноя-24, 10:06 +2 +/–

Это надо переписывать. Поверь, бесплатное ускорение это очень выгодно. А если пользователь ждёт завершения, ещё и приятно.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #43, #59, #66

7. Сообщение от Аноним (7), 20-Ноя-24, 10:11 –1 +/–

Ничего эффективнее распределенной компиляции еще не придумали. В условиях технологической отсталости - это единственный способ повышения скорости сборки пакетов. ICECC - рулит.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #10

8. Сообщение от Аноним (-), 20-Ноя-24, 10:16 +5 +/–

> Питон раза в 2 ускоряется в пго билде с парой дополнительных флагов.
Это вы по тем графикам вывод сделали? Обожаю графики где ось начинается не с ноля, сразу иследователи такие важные и нужные. А реально эти 5% разглядеть на фоне нормального графика...

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #17

9. Сообщение от Аноним (9), 20-Ноя-24, 10:17 +2 +/–

Время первого запуска возрастает до бесконечности. Не самый лучший способ.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4

10. Сообщение от Аноним (-), 20-Ноя-24, 10:17 Скрыто ботом-модератором +/–

Это такой намек что бомжу и пачка P4 - билдферма? Электричества она на билд жрет - немеряно, увы и ах.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7 Ответы: #38

11. Сообщение от Минона (ok), 20-Ноя-24, 10:22 +8 +/–

Поставь Генту -- узнаешь.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2

12. Сообщение от Аноним (12), 20-Ноя-24, 10:24 +5 +/–

Бить надо за такие графики с отсеченным нулем. Желательно не только по лицу. Там разница всего на 5-6%, но график сделан так чтобы потрясти воображение разницей на глаз этак на 50%. И только внимательный рассмотрит оси, начнет чего-то подозревать и потом наткнется на эти самые скромные 5% под рисунком. Для понимания достаточно было бы одной простенькой таблички вместо всех этих 4-х графиков.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #16

13. Сообщение от Аноним (19), 20-Ноя-24, 10:27 +2 +/–

> Сборочные работы, ранее выполняемые за сутки, при задействовании PGO-оптимизации стали выполняться на два часа быстрее
Я конечно понимаю что большинство местной аудитории гуманитарии и в расчеты не обучены и округляют в зависимости от фазы Меркурия. Но как 5% ускорение дало 2 часа быстрее когда при самых грубых расчетах это 1 час. А при чуть более точных 1 час 12 минут? Да даже округление округления до 6% ну никак не даёт морального права округлять до 2 часов.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #23

15. Сообщение от Аноним (15), 20-Ноя-24, 10:36 +1 +/–

Ага, на ассемблер, но есть нюанс...

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #19

16. Сообщение от Аноним (16), 20-Ноя-24, 10:37 +/–

Какая разница, они же не продают эти PGO-оптимизации.
Во-вторых какой тогда смысл в графике, если разницу между столбцами надо через лупу наблюдать?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #12 Ответы: #18

17. Сообщение от Аноним (1), 20-Ноя-24, 10:39 +/–

Нет конечно, эти лалки открыли для себя пго 10 лет спустя после всех остальных. Именно поэтому какой-то смысл нести деньги есть только тем, у кого имеются разрабы. Ну, хотя бы, и шляпе. А эти имитируют бурную деятельность на самом деле.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #8 Ответы: #28

18. Сообщение от Аноним (19), 20-Ноя-24, 10:39 +6 +/–

Ты на правильном пути, мой юный падаван. График не нужен.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #16

19. Сообщение от Аноним (19), 20-Ноя-24, 10:42 –4 +/–

Ассемблер может что ускорить только путем срезания острых углов дополнительных проверок. По факту путем снижения безопасТности.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #15 Ответы: #32, #56

20. Сообщение от Аноним (20), 20-Ноя-24, 10:52 +3 +/–

А может они померят разницу не в виртуалке? Да не, бред какой-то

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #35

21. Сообщение от Archer73 (ok), 20-Ноя-24, 10:57 +/–

Скачал Python 3.10, и он ПО УМОЛЧАНИЮ собирался с PGO (Скомпилился, долго выполнял тестовые расчеты, перекомпилился используя результаты профилирования)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #22, #24

22. Сообщение от Аноним (1), 20-Ноя-24, 11:05 –2 +/–

Да, но периодически проблемы с компиляторами всплывают до сих пор. Корпы хотят, чтобы собиралось шлангом, и ломают сборку гцц. А бинарные билды часто не оптимизированы, в той же федоре стали нормально собирать только несколько лет назад.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #21 Ответы: #26

23. Сообщение от Аноним (24), 20-Ноя-24, 11:08 +/–

60*0.07*24 = 100.8 мин.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #13 Ответы: #25

24. Сообщение от Аноним (24), 20-Ноя-24, 11:09 +/–

Задача не ускорить сам Python, а ускорить сборочное окружение, собирающее Python и другие пакеты.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #21

25. Сообщение от Аноним (19), 20-Ноя-24, 11:15 +/–

Подгонять под результат меня и в школе и институте учили, но на графиках явно пишут что там 5% 2 часа это либо менеджера обмануть или менеджер кого-то пытается обмануть или препода обмануть, но зачем?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #23 Ответы: #37

26. Сообщение от Аноним (19), 20-Ноя-24, 11:17 +1 +/–

Так Федора сама по себе тестовая сборка, зачем там была нужна оптимальность непонятно.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #22 Ответы: #27

27. Сообщение от Аноним (1), 20-Ноя-24, 11:23 –1 +/–

У них почти все скрипты на питоне были. Включая пакетный менеджер. Пго это бесплатное ускорение по сути, никаких недостатков (ну, кроме времени компиляции и необходимости гонять профилирование).

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #26 Ответы: #29

28. Сообщение от Аноним (-), 20-Ноя-24, 11:24 +/–

> Нет конечно, эти лалки открыли для себя пго 10 лет спустя после всех остальных.
> Именно поэтому какой-то смысл нести деньги есть только тем, у кого имеются разрабы.
> Ну, хотя бы, и шляпе. А эти имитируют бурную деятельность на самом деле.
Шляпа как видим тоже - та еще шляпа. Ибо теперь это IBM и ваш чемодан денег им уже не очень интересен, сдалась им мелочевка всякая. Вот если вы товарный состав подгоните - так и быть, вы их клиент.
А без этого можете бесплатно покамикадзить тестовым манекеном в федоре. Ух какая благодать! А, вот, еще центос стрем - для манекенов переживших первый раунд краштестов.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #17

29. Сообщение от Аноним (-), 20-Ноя-24, 11:28 –4 +/–

> У них почти все скрипты на питоне были. Включая пакетный менеджер. Пго это
> бесплатное ускорение по сути, никаких недостатков (ну, кроме времени
> компиляции и необходимости гонять профилирование).
Я наелся такого ускорения от редхата и свалил на дебианы и убунты. Потому что делать микро-VM по приципу 1 VM на сервис когда пакетник жрет больше RAM чем сервис - ну вот ой, нерационально.
Как мне кажется, за цать лет транснациональная корпа могла бы разок сделать пакетник нормально а не маяться такой отборной дурью вместо этого.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #27 Ответы: #48

31. Сообщение от Аноним (-), 20-Ноя-24, 11:33 +/–

> Самый лучший способ ускорить питоновские приложения -- это переписать их на другой язык.
Редхат что-то такое и начал наконец для своего пакетника. Правда, на цать лет позже всех остальных. Энтерпрайзный софт как он есть - кормить клиентуру заплатившую миллионы максимально глюкавым, тормозным и непотребным гуано, "с лопаты". Энтерпрайз в интерьере.
В то время как даже комьюнити смогло написать apt на плюсах нормальных, так что работает в разы шустрее и RAM жрет в разы меньше.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4

32. Сообщение от Аноним (32), 20-Ноя-24, 11:34 –2 +/–

> Ассемблер может что ускорить только путем срезания острых углов
> дополнительных проверок. По факту путем снижения безопасТности.
Как показала соседняя новость с питонокодом в needrestart'е убунт - там тоже с безопасностью не очень оказалось. Оказывается ненужные проверки можно срезать и на питоне. Ну и что что всякая лабуда атакующего под рутом в результате выполняется?! Зато прогер времени себе сэкономил на кодинге проверок!

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19

33. Сообщение от Аноним (33), 20-Ноя-24, 11:40 +/–

Зачем собирать питон когда его можно скачать?

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #49, #55

35. Сообщение от пох. (?), 20-Ноя-24, 11:50 +/–

я что-то вообще не понял кто у них на ком стоял. Они _виртуалку_ пересобрали с pgo чтобы внутри пересобирать что-то с чем-то ? Или qemu? Или вот что? Чтобы - что?

В общем, какой-то васян похоже просто развлекался от нечего делать, но выдал на гора целое "исследование" ни о чем.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #20 Ответы: #45

36. Сообщение от пгуыыцрщ (?), 20-Ноя-24, 11:57 +/–

-fno-semantic-interposition ?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #39

37. Сообщение от пох. (?), 20-Ноя-24, 12:02 +1 +/–

> Подгонять под результат меня и в школе и институте учили, но на
> графиках явно пишут что там 5% 2 часа это либо менеджера
> обмануть или менеджер кого-то пытается обмануть или препода обмануть, но зачем?
performance review сам себя не пройдет.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #25

38. Сообщение от пох. (?), 20-Ноя-24, 12:03 –1 +/–

> Это такой намек что бомжу и пачка P4 - билдферма? Электричества она
> на билд жрет - немеряно, увы и ах.
в данном случае - пачка китайских недоделков на risc-v
электричества эти кипятильники сожрут разумеется не меньше чем тот p4, зато крута, шва6одка и все такое.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #10 Ответы: #50, #52

39. Сообщение от Аноним (1), 20-Ноя-24, 12:26 +/–

Да, -fno-plt и -fdevirtualize-at-ltrans ещё. Раньше, помню, -fwhole-program давала хорошую оптимизацию, но там не универсально и только сишные проги собирались в итоге. А так я -fipa-pta тоже использовал универсально, но лто становится несколько неподъёмным для больших прог, решил отказаться.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #36

40. Сообщение от InuYasha (??), 20-Ноя-24, 12:37 +/–

Ну.... играл я с этим когда-то. Но в моих непредсказуемых случаях от него толку было ещё меньше. Лучше векторизацию подкрутить было. Но в целом вещь нужная.

Ответить | Правка | Наверх | Cообщить модератору

41. Сообщение от Соль земли (?), 20-Ноя-24, 12:58 +1 +/–

Лучший способ написать хорошее приложение - это сначала написать плохое. Прогресс невозможен без ошибок.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #58

42. Сообщение от Аноним (42), 20-Ноя-24, 13:39 +/–

Самый быстрый способ сборки есть но он не кому не доступен , но когда будете готовы в это влить денег то получите эту сверх штуку

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #54

43. Сообщение от Бывалый Смузихлёб (ok), 20-Ноя-24, 13:45 +/–

только оно не бесплатное

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5 Ответы: #44

44. Сообщение от Аноним (1), 20-Ноя-24, 13:58 +4 +/–

> только оно не бесплатное
Ничего не надо делать, пару команд в сборочный скрипт добавить. Прочее ускорение потребует рефакторинга кода, изменения структур данных, замены компонентов и так далее. Добавить пару команд и задействовать компилятор более полноценно, это, фактически, бесплатно. И максимально универсально.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #43 Ответы: #70

45. Сообщение от гулигули (?), 20-Ноя-24, 15:56 +/–

Да, пересобрали виртуалку, в которой собирают пакеты под risc-v (для дистриба на risc-v).
Оказалось чуть быстрее.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #35

46. Сообщение от Аноним (46), 20-Ноя-24, 16:49 –1 +/–

В Debian такие оптимизации еще нескоро попадут? А в Arch уже попали?

Ответить | Правка | Наверх | Cообщить модератору

47. Сообщение от Аноним (47), 20-Ноя-24, 17:21 +/–

https://www.phoronix.com/news/Intel-Linux-3888.9-Performance

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2

48. Сообщение от _ (??), 20-Ноя-24, 19:02 +/–

Как только ты свалил, они с yum перешли на dnf.
Наверное надо сказать тебе "спасибо!" или поругать что так долго не уходил :)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #29 Ответы: #51

49. Сообщение от Аноним (50), 20-Ноя-24, 19:10 +1 +/–

Поставь Gentoo по классике, поймёшь.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #33 Ответы: #53

50. Сообщение от Аноним (50), 20-Ноя-24, 19:14 –1 +/–

В газовобогатой стране с газовыми ТЭЦ/ТЭС электричество не проблема.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #38 Ответы: #65

51. Сообщение от Аноним (51), 20-Ноя-24, 21:37 +/–

> Как только ты свалил, они с yum перешли на dnf.
А до этого они перешли на yum c up2date. Хрен редьки не слаще. Что так дрянь что сяк. Через цать лет до них даже что-то доходить стало.
Но попробовав apt мне что-то вон то юзать уже совсем не хотелось. От слова вообще.
> Наверное надо сказать тебе "спасибо!" или поругать что так долго не уходил :)
Даже не знаю. Но вот что я знаю - так это то что технология жива теми кто ее практикует. И в этом смысле мы посмотрим какое семейство технологий победит :)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #48 Ответы: #73

52. Сообщение от Аноним (-), 20-Ноя-24, 21:43 +/–

> в данном случае - пачка китайских недоделков на risc-v
> электричества эти кипятильники сожрут разумеется не меньше чем тот p4, зато крута,
Ну не, у этих - ядра мелкие, а техпроцессы относительно дубовые, утечек нет особо. И реклок они в отличие от как правило - умеют.

> шва6одка и все такое.
Ну так вон китайцы и накопипастили уже алибабовских ядер занедорого - и пошли продавать! А ты можешь накопипастить ядер P4 и тоже иди продавать, если все так офигенно. Озолотишься же :)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #38 Ответы: #64

53. Сообщение от Аноним (-), 20-Ноя-24, 21:45 +/–

> Поставь Gentoo по классике, поймёшь.
Ога, когда система портажей на этом самом питоне с очередным питоном вдруг не станет работать - ты познаешь тао во всей его красоте. Или это дао было? :)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #49

54. Сообщение от Аноним (-), 20-Ноя-24, 21:46 +/–

> Самый быстрый способ сборки есть
Есть. Apt-get называется. Суть сводится к тому что проц по черному грела - билдферма. А остальным осталось скачать и распаковать :)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #42

55. Сообщение от Вы забыли заполнить поле Name (?), 20-Ноя-24, 22:03 +1 +/–

> когда его можно скачать?
А вдруг там троян? Ну и оптимизаций нет под себя

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #33 Ответы: #57

56. Сообщение от Аноним (-), 20-Ноя-24, 22:20 –1 +/–

Не только, он ещё может и манипулировать памятью так как ни в одном языке вы это не сделаете. Только человек не компилятор. Если человек где-то маленький участок кода и может оптимизировать, а вот огромный кусок кода переработать человеку уже не так просто. Именно поэтому и нужны языки программирования.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19

57. Сообщение от Аноним (-), 20-Ноя-24, 22:28 +/–

А вы реально смотрите весь код каждого пакета перед компиляцией? Может проблема в том что нет доверенного источника такого пакета? Вот каждый что-ли должен перепроверять один и тот же код? И это при том что у каждого разный опыт и знания касательно безопасности.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #55 Ответы: #61

58. Сообщение от YetAnotherOnanym (ok), 20-Ноя-24, 23:19 –1 +/–

Нет. Написав плохое приложение, вы не напишете хорошее, если не будете к этому страмиться. Поэтому лучший способ написать хорошее приложение - стремиться написать хорошее приложение.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #41

59. Сообщение от Аноним (59), 20-Ноя-24, 23:30 –3 +/–

Переписывать дорого. А надеяться на всякие хаки которые позволяют выжать из питона ещё десяток процентов, при том что он отстаёт от компилируемых языков в десятки раз и не умеет в многопоточность - глупо. Единственная правильная стратегия - на питоне ничего не писать с самого начала.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5

60. Сообщение от Аноним (60), 21-Ноя-24, 00:46 +/–

PGO-оптимизация - это как CD-диск, так писать не грамотно.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #62

61. Сообщение от Вы забыли заполнить поле Name (?), 21-Ноя-24, 07:24 +1 +/–

> Вот каждый что-ли должен перепроверять один и тот же код?
Да. Это как доказательство теоремы. Можно асистентом прувером воспользоваться еще.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #57

62. Сообщение от Аноним (62), 21-Ноя-24, 08:46 –1 +/–

Таки, или PG-оптимизация, или PGO, CD или C-диск.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #60

64. Сообщение от пох. (?), 21-Ноя-24, 10:14 Скрыто ботом-модератором +/–

> Ну не, у этих - ядра мелкие, а техпроцессы относительно дубовые, утечек нет особо. И реклок они
> в отличие от как правило - умеют.
и когда тебе надо на этом что-то _компилять_ - все это идет по п-де, и вся гирлянда отлично светится в темноте.
> Ну так вон китайцы и накопипастили уже алибабовских ядер занедорого - и пошли продавать!
ну раз немамонты покупают - чего б им воздух шва6одки и не продать занедорого.
> А ты можешь накопипастить ядер P4 и тоже иди продавать, если все так офигенно.
я уже купил свой двуксеон из списанных деллов выковыриваемый, он пока нормально работает, и в состоянии даже побыстрому что-то скомпилять сам для себя, если б было зачем.
(да, внезапно, китайцы и такое тоже умеют)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #52

65. Сообщение от пох. (?), 21-Ноя-24, 10:15 +/–

охрана этих тэс больно дерется при попытке сп-ть электричество. А счета за него таки проблема.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #50

66. Сообщение от Аноним (66), 21-Ноя-24, 12:01 +/–

>Это надо переписывать.
На питоне изначально не надо писать, тогда и переписывать не придётся

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5 Ответы: #69

67. Сообщение от Аноним (67), 21-Ноя-24, 12:14 +/–

Чет я не понял, каким это образом PGO ускоряет сборку, это ведь дополнительные шаги сборки, плюс код выполняется под профайлером чуть медленнее. Если только выигрышь за счёт скорости выполнения юнит и интеграционных тестов, но что-то я слабо верю, что эти тесты гоняются при сборке дистрибутива, иначе, ни про какие сутки там речь бы не шла, один только OpenSSL полчасика собирался бы.
Такое ощущение, что инженеры Canonical где-то изнасиловали журналистов, осталось понять где и чьих.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #68, #71

68. Сообщение от Аноним (67), 21-Ноя-24, 12:18 +/–

В оригинальной новости ни слова про улучшение скорости сборки, значит -- пострадали журналисты со стороны OpenNET. В статье говориться, что время сборки осталось приемлемым, несмотря на эмуляцию и внедрение оптимизации, а возможным оказалось, за счёт того, что вместо кросс-компиляции, по историческим причинам применялся не эффективный с точки зрения времени сборки бинарников подход со сборкой внутри qemu виртуалок.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #67 Ответы: #72

69. Сообщение от Аноним (1), 21-Ноя-24, 12:35 +/–

Быстро, удобно, есть готовые компоненты приемлемого уровня для решения большинства задач. Единственно, не очень приятно асинхронный код отлаживать (интерпретатор любит врать и подсовывать совершенно несвязанные исключения в посторонних местах). Это прямо боль до сих пор.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #66

70. Сообщение от Аноним (-), 21-Ноя-24, 13:19 +/–

>> только оно не бесплатное
> Ничего не надо делать, пару команд в сборочный скрипт добавить. Прочее ускорение
> потребует рефакторинга кода, изменения структур данных, замены компонентов и так далее.
> Добавить пару команд и задействовать компилятор более полноценно, это, фактически, бесплатно.
> И максимально универсально.
PGO нифига не бесплатно: чтобы это реально работало надо профиль отстроить. И это ессно жрет ресурсы.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #44

71. Сообщение от Аноним (24), 21-Ноя-24, 13:22 +/–

Читайте новость внимательнее "Разница производительности оценивалась для QEMU, собранного с опциями по умолчанию и с включением PGO".
С PGO собран QEMU, в котором выполняется сборка. Больше производительность эмуляции в QEMU -> меньше время занимает сборка в виртуальной машине.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #67

72. Сообщение от Аноним (24), 21-Ноя-24, 13:25 –1 +/–

> В оригинальной новости ни слова про улучшение скорости сборки,
Как это нет, а это что "We saw average CPU utilization and build time improvements of around 5-7%, which is significant especially when we consider that Launchpad performs several builds per day."
И на всех графиках отражено именно "build time".

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #68

73. Сообщение от Анониссимус (?), 22-Ноя-24, 07:51 +/–

По-моему, всё что угодно лучше, чем apt. Это эталонный набор костылей, подпёртых фекалиями.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #51

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. Сообщение от Аноним (1), 20-Ноя-24, 09:49	+1 +/–
Питон раза в 2 ускоряется в пго билде с парой дополнительных флагов.
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #4, #8, #21, #36

2. Сообщение от Аноним (2), 20-Ноя-24, 09:57	+/–
Ещё интресно, какой эффект от включения оптимизаций под конретный процессор.
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #11, #47

4. Сообщение от Аноним (4), 20-Ноя-24, 10:03	+29 +/–
Самый лучший способ ускорить питоновские приложения -- это переписать их на другой язык.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #1 Ответы: #5, #9, #15, #31, #41

5. Сообщение от Аноним (1), 20-Ноя-24, 10:06	+2 +/–
Это надо переписывать. Поверь, бесплатное ускорение это очень выгодно. А если пользователь ждёт завершения, ещё и приятно.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #4 Ответы: #43, #59, #66

7. Сообщение от Аноним (7), 20-Ноя-24, 10:11	–1 +/–
Ничего эффективнее распределенной компиляции еще не придумали. В условиях технологической отсталости - это единственный способ повышения скорости сборки пакетов. ICECC - рулит.
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #10

8. Сообщение от Аноним (-), 20-Ноя-24, 10:16	+5 +/–
> Питон раза в 2 ускоряется в пго билде с парой дополнительных флагов. Это вы по тем графикам вывод сделали? Обожаю графики где ось начинается не с ноля, сразу иследователи такие важные и нужные. А реально эти 5% разглядеть на фоне нормального графика...
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #1 Ответы: #17

9. Сообщение от Аноним (9), 20-Ноя-24, 10:17	+2 +/–
Время первого запуска возрастает до бесконечности. Не самый лучший способ.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #4

10. Сообщение от Аноним (-), 20-Ноя-24, 10:17 Скрыто ботом-модератором	+/–
Это такой намек что бомжу и пачка P4 - билдферма? Электричества она на билд жрет - немеряно, увы и ах.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #7 Ответы: #38

11. Сообщение от Минона (ok), 20-Ноя-24, 10:22	+8 +/–
Поставь Генту -- узнаешь.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #2

12. Сообщение от Аноним (12), 20-Ноя-24, 10:24	+5 +/–
Бить надо за такие графики с отсеченным нулем. Желательно не только по лицу. Там разница всего на 5-6%, но график сделан так чтобы потрясти воображение разницей на глаз этак на 50%. И только внимательный рассмотрит оси, начнет чего-то подозревать и потом наткнется на эти самые скромные 5% под рисунком. Для понимания достаточно было бы одной простенькой таблички вместо всех этих 4-х графиков.
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #16

13. Сообщение от Аноним (19), 20-Ноя-24, 10:27	+2 +/–
> Сборочные работы, ранее выполняемые за сутки, при задействовании PGO-оптимизации стали выполняться на два часа быстрее Я конечно понимаю что большинство местной аудитории гуманитарии и в расчеты не обучены и округляют в зависимости от фазы Меркурия. Но как 5% ускорение дало 2 часа быстрее когда при самых грубых расчетах это 1 час. А при чуть более точных 1 час 12 минут? Да даже округление округления до 6% ну никак не даёт морального права округлять до 2 часов.
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #23

15. Сообщение от Аноним (15), 20-Ноя-24, 10:36	+1 +/–
Ага, на ассемблер, но есть нюанс...
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #4 Ответы: #19

16. Сообщение от Аноним (16), 20-Ноя-24, 10:37	+/–
Какая разница, они же не продают эти PGO-оптимизации. Во-вторых какой тогда смысл в графике, если разницу между столбцами надо через лупу наблюдать?
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #12 Ответы: #18

17. Сообщение от Аноним (1), 20-Ноя-24, 10:39	+/–
Нет конечно, эти лалки открыли для себя пго 10 лет спустя после всех остальных. Именно поэтому какой-то смысл нести деньги есть только тем, у кого имеются разрабы. Ну, хотя бы, и шляпе. А эти имитируют бурную деятельность на самом деле.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #8 Ответы: #28

18. Сообщение от Аноним (19), 20-Ноя-24, 10:39	+6 +/–
Ты на правильном пути, мой юный падаван. График не нужен.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #16

19. Сообщение от Аноним (19), 20-Ноя-24, 10:42	–4 +/–
Ассемблер может что ускорить только путем срезания острых углов дополнительных проверок. По факту путем снижения безопасТности.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #15 Ответы: #32, #56

20. Сообщение от Аноним (20), 20-Ноя-24, 10:52	+3 +/–
А может они померят разницу не в виртуалке? Да не, бред какой-то
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #35

21. Сообщение от Archer73 (ok), 20-Ноя-24, 10:57	+/–
Скачал Python 3.10, и он ПО УМОЛЧАНИЮ собирался с PGO (Скомпилился, долго выполнял тестовые расчеты, перекомпилился используя результаты профилирования)
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #1 Ответы: #22, #24

22. Сообщение от Аноним (1), 20-Ноя-24, 11:05	–2 +/–
Да, но периодически проблемы с компиляторами всплывают до сих пор. Корпы хотят, чтобы собиралось шлангом, и ломают сборку гцц. А бинарные билды часто не оптимизированы, в той же федоре стали нормально собирать только несколько лет назад.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #21 Ответы: #26

23. Сообщение от Аноним (24), 20-Ноя-24, 11:08	+/–
600.0724 = 100.8 мин.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #13 Ответы: #25

24. Сообщение от Аноним (24), 20-Ноя-24, 11:09	+/–
Задача не ускорить сам Python, а ускорить сборочное окружение, собирающее Python и другие пакеты.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #21

25. Сообщение от Аноним (19), 20-Ноя-24, 11:15	+/–
Подгонять под результат меня и в школе и институте учили, но на графиках явно пишут что там 5% 2 часа это либо менеджера обмануть или менеджер кого-то пытается обмануть или препода обмануть, но зачем?
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #23 Ответы: #37

26. Сообщение от Аноним (19), 20-Ноя-24, 11:17	+1 +/–
Так Федора сама по себе тестовая сборка, зачем там была нужна оптимальность непонятно.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #22 Ответы: #27

27. Сообщение от Аноним (1), 20-Ноя-24, 11:23	–1 +/–
У них почти все скрипты на питоне были. Включая пакетный менеджер. Пго это бесплатное ускорение по сути, никаких недостатков (ну, кроме времени компиляции и необходимости гонять профилирование).
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #26 Ответы: #29

28. Сообщение от Аноним (-), 20-Ноя-24, 11:24	+/–
> Нет конечно, эти лалки открыли для себя пго 10 лет спустя после всех остальных. > Именно поэтому какой-то смысл нести деньги есть только тем, у кого имеются разрабы. > Ну, хотя бы, и шляпе. А эти имитируют бурную деятельность на самом деле. Шляпа как видим тоже - та еще шляпа. Ибо теперь это IBM и ваш чемодан денег им уже не очень интересен, сдалась им мелочевка всякая. Вот если вы товарный состав подгоните - так и быть, вы их клиент. А без этого можете бесплатно покамикадзить тестовым манекеном в федоре. Ух какая благодать! А, вот, еще центос стрем - для манекенов переживших первый раунд краштестов.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #17

29. Сообщение от Аноним (-), 20-Ноя-24, 11:28	–4 +/–
> У них почти все скрипты на питоне были. Включая пакетный менеджер. Пго это > бесплатное ускорение по сути, никаких недостатков (ну, кроме времени > компиляции и необходимости гонять профилирование). Я наелся такого ускорения от редхата и свалил на дебианы и убунты. Потому что делать микро-VM по приципу 1 VM на сервис когда пакетник жрет больше RAM чем сервис - ну вот ой, нерационально. Как мне кажется, за цать лет транснациональная корпа могла бы разок сделать пакетник нормально а не маяться такой отборной дурью вместо этого.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #27 Ответы: #48

31. Сообщение от Аноним (-), 20-Ноя-24, 11:33	+/–
> Самый лучший способ ускорить питоновские приложения -- это переписать их на другой язык. Редхат что-то такое и начал наконец для своего пакетника. Правда, на цать лет позже всех остальных. Энтерпрайзный софт как он есть - кормить клиентуру заплатившую миллионы максимально глюкавым, тормозным и непотребным гуано, "с лопаты". Энтерпрайз в интерьере. В то время как даже комьюнити смогло написать apt на плюсах нормальных, так что работает в разы шустрее и RAM жрет в разы меньше.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #4

32. Сообщение от Аноним (32), 20-Ноя-24, 11:34	–2 +/–
> Ассемблер может что ускорить только путем срезания острых углов > дополнительных проверок. По факту путем снижения безопасТности. Как показала соседняя новость с питонокодом в needrestart'е убунт - там тоже с безопасностью не очень оказалось. Оказывается ненужные проверки можно срезать и на питоне. Ну и что что всякая лабуда атакующего под рутом в результате выполняется?! Зато прогер времени себе сэкономил на кодинге проверок!
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #19

33. Сообщение от Аноним (33), 20-Ноя-24, 11:40	+/–
Зачем собирать питон когда его можно скачать?
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #49, #55

35. Сообщение от пох. (?), 20-Ноя-24, 11:50	+/–
я что-то вообще не понял кто у них на ком стоял. Они _виртуалку_ пересобрали с pgo чтобы внутри пересобирать что-то с чем-то ? Или qemu? Или вот что? Чтобы - что? В общем, какой-то васян похоже просто развлекался от нечего делать, но выдал на гора целое "исследование" ни о чем.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #20 Ответы: #45