The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Стабильный релиз СУБД MySQL 8.0, opennews (??), 19-Апр-18, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


8. "Стабильный релиз СУБД MySQL 8.0"  –8 +/
Сообщение от IRASoldier (?), 20-Апр-18, 00:17 
Postgre пока не нyжен - детально так раъяснено почему - https://habrahabr.ru/company/devconf/blog/353682/
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

9. "Стабильный релиз СУБД MySQL 8.0"  +1 +/
Сообщение от KonstantinB (ok), 20-Апр-18, 00:33 
Чтобы с озвученной Uber-ом проблемой столкнуться, нужен особый характер нагрузки - множество апдейтов в секунду, затрагивающих индекс. Для большинства проектов это не критично.
Ответить | Правка | Наверх | Cообщить модератору

24. "Стабильный релиз СУБД MySQL 8.0"  –3 +/
Сообщение от Аноним (-), 20-Апр-18, 07:21 
Из статьи следует, что апдейты индексированнного поля и неиндексированного одинаково тяжеловесны в Постгри.
  Использование СУБД файлового кеша ОСи убило ваапще.

Подумывал опробывать Постги, но теперь обожду.

Ответить | Правка | Наверх | Cообщить модератору

59. "Стабильный релиз СУБД MySQL 8.0"  +/
Сообщение от Аноним (-), 20-Апр-18, 20:23 
> Использование СУБД файлового кеша ОСи убило ваапще.

И чем же?

Ответить | Правка | Наверх | Cообщить модератору

71. "Стабильный релиз СУБД MySQL 8.0"  +/
Сообщение от Аноним (-), 21-Апр-18, 09:38 
>> Использование СУБД файлового кеша ОСи убило ваапще.
> И чем же?

Если горячая страничка (на чтение) вытеснится из кеша ОС, сразу пачка одновременных запросов может заблокироваться, за это время придёт ещё пачка запросов и база будет работать медленнее из-за скачка нагрузки (больше тредов/процессов - больше блокировок).

Эту проблему можно убрать, если кешировать в shared memory сегменте базы, но без direct io одни и те же данные будут и в shared memory и в кеше ОС, а значит надо для одних и тех же данных закупать на 20-30% больше оперативной памяти если база не работает/не эфективно работает с direct io.

Ответить | Правка | Наверх | Cообщить модератору

86. "Стабильный релиз СУБД MySQL 8.0"  +/
Сообщение от Аноним (-), 24-Апр-18, 22:31 
> одни и те же данные будут и в shared memory и в кеше ОС

Как долго? Это не так просто оценить, у shared_buffers и у кеша ОС есть алгоритмы вытеснения не используемых данных, в конечном счёте в shared_buffers останутся горячие данные, а в кеше ОС — тёплые (другие), потому что данные находящиеся в shared_buffers не запрашиваются у ОС и вытесняются из кеша, не так ли?

Ответить | Правка | Наверх | Cообщить модератору

62. "Стабильный релиз СУБД MySQL 8.0"  +1 +/
Сообщение от KonstantinB (ok), 21-Апр-18, 04:29 
То, что сейчас кажется дикостью, 20 лет назад было оптимальным решением. Хранилище постгреса проектировалось в те далекие времена, когда никаких O_DIRECT не было даже в планах. В условиях какого-нибудь ядра 1.4 или freebsd 3 это было наиболее эффективным решением. Оттуда же и пачки процессов и shared memory - никаких epoll-ов и прочих kevent тоже не было, с тредами все было печально. Но, надо заметить, все это и сейчас весьма неплохо работает.
Ответить | Правка | К родителю #24 | Наверх | Cообщить модератору

78. "Стабильный релиз СУБД MySQL 8.0"  +/
Сообщение от нах (?), 22-Апр-18, 21:38 
> То, что сейчас кажется дикостью, 20 лет назад было оптимальным решением.

и пока линуксеры не доломали совместимость с нормальными юниксами - вполне пристойно работает.

родовая травма постгреза - его причудливейший формат storage, корнями уходящий в великую бесполезно-фичу time-travel (не работающую со времен postgresql95)

с вечным vacuum ("мы его уже совсем-совсем deprecated, он ненужен-ненужен...а, нет, разумеется он будет и дальше вызываться из внутреннего планировщика в самые неподходящие моменты, мы не об этом") и вечным разрастанием индексов.
Что новый-модный zheap решит эти проблемы не создав попутно все те же что у myisam и еще пачку уникальных - что-то вот не верится.

Ответить | Правка | Наверх | Cообщить модератору

55. "Стабильный релиз СУБД MySQL 8.0"  +/
Сообщение от letsmac (ok), 20-Апр-18, 15:51 
Чтобы с этой проблемой столкнуться надо написать оптимизированную логику под MySQL, а потом перенести эту логику на Postgres. У которой свои оптимизации.

>>Для большинства проектов это не критично.

Postgres не любит апдейтов, как и любой версионник. Для кучи апдейтов лучше уж NoSQL использовать.

Ответить | Правка | К родителю #9 | Наверх | Cообщить модератору

64. "Стабильный релиз СУБД MySQL 8.0"  +/
Сообщение от funny. falcon (?), 21-Апр-18, 08:23 
Извините, но Innodb тоже версионник. Однока он лучше сравляется спробоемой потому, что у него быстрее всего доступна именно последняя версия строки.

В постгрессе же последняя версия строки чаще всего попадает в экзкьютор последней.

Ответить | Правка | Наверх | Cообщить модератору

10. "Стабильный релиз СУБД MySQL 8.0"  –2 +/
Сообщение от Аноним (-), 20-Апр-18, 00:33 
Не нужен кому? PostgreSQL это из разряда MSSQL, продукции Oracle, Sybase.

З.Ы. топить за MyISAM не смешно и не весело ни разу.

Ответить | Правка | К родителю #8 | Наверх | Cообщить модератору

11. "Стабильный релиз СУБД MySQL 8.0"  +/
Сообщение от Аноним (-), 20-Апр-18, 00:40 
А чем myisam плох для определённых случаев? Вот есть десяток девелоперских баз. На myisam заливка дампа  на два с половиной гигабайта с прода занимает от силы 10 минут. На Inno/XtraDB - в лучшем случае час, и всякие игрища с параметрами в my.cnf и системной схеме не особо помогают.
Ответить | Правка | Наверх | Cообщить модератору

12. "Стабильный релиз СУБД MySQL 8.0"  +1 +/
Сообщение от KonstantinB (ok), 20-Апр-18, 00:58 
Для девелоперской базы никто не мешает остановить mysqld и ручками скопировать innodb-файлы.
Ответить | Правка | Наверх | Cообщить модератору

17. "Стабильный релиз СУБД MySQL 8.0"  +1 +/
Сообщение от angra (ok), 20-Апр-18, 02:52 
Потом попробовать стартануть мускул, почитать ругань, а если он таки стартанул, то попытаться найти таблицы и обнаружить их отсутствие. Повторить процесс такого горячего копирования несколько раз, до тех пор пока не придет осознание, что ты что-то делаешь неправильно. Потом пойти почитать про кучу дополнительных телодвижений и условий, необходимых для использования такого метода с innodb.
Ответить | Правка | Наверх | Cообщить модератору

19. "Стабильный релиз СУБД MySQL 8.0"  +1 +/
Сообщение от KonstantinB (ok), 20-Апр-18, 05:54 
Ничего сложного, совсем.
Во-первых, можно скопировать содержимое /var/lib/mysql вообще целиком
Во-вторых, если хочется частично, https://dev.mysql.com/doc/refman/5.6/en/innodb-migration.html
Ответить | Правка | Наверх | Cообщить модератору

27. "Стабильный релиз СУБД MySQL 8.0"  +/
Сообщение от angra (ok), 20-Апр-18, 07:50 
> Ничего сложного, совсем.

Я не говорил, что сложно или невыполнимо. Но простое копирование как с MYISAM приведет к проблемам.

> Во-первых, можно скопировать содержимое /var/lib/mysql вообще целиком

Можно и не такие глупости сделать, но зачем? Задача то ведь несколько другая была.

> Во-вторых, если хочется частично, https://dev.mysql.com/doc/refman/5.6/en/innodb-migration.html

А ты прочитать содержимое своей ссылки пробовал? Вдруг окажется, что там ровно то, что я и говорил: "кучу дополнительных телодвижений и условий, необходимых для использования такого метода с innodb."

Ответить | Правка | Наверх | Cообщить модератору

30. "Стабильный релиз СУБД MySQL 8.0"  +/
Сообщение от KonstantinB (ok), 20-Апр-18, 08:09 
Да ладно куча, элементарно все.
Ответить | Правка | Наверх | Cообщить модератору

31. "Стабильный релиз СУБД MySQL 8.0"  +/
Сообщение от KonstantinB (ok), 20-Апр-18, 08:11 
> Задача то ведь несколько другая была

Задача была импортировать данные на машину разработчика. Для этого можно и так сделать.

А можно вообще сделать "грязный" rsync, после чего стопнуть слейв на минутку и сделать еще один.

Ответить | Правка | К родителю #27 | Наверх | Cообщить модератору

72. "Стабильный релиз СУБД MySQL 8.0"  +/
Сообщение от Аноним (-), 21-Апр-18, 10:00 
>> Во-вторых, если хочется частично, https://dev.mysql.com/doc/refman/5.6/en/innodb-migration.html
> А ты прочитать содержимое своей ссылки пробовал? Вдруг окажется, что там ровно
> то, что я и говорил: "кучу дополнительных телодвижений и условий, необходимых
> для использования такого метода с innodb."

Нет утилиты официальной, чтобы бекапить всю базу и разворачивать её с помощью transportable tablespaces.
Я делал такой набросок для бекапа:
https://pastebin.com/9r6ftxRg

для рестора надо дописывать:
залить структуру: *.struct.sql
сделать discard для tablespace всех останавливаемых  таблиц (или по regex отфильтрованных)
сделать mv/cp/rsync ibd и cfg файлов
сделать import

Ну и переделать Process на Pool чтобы копировать/востанавливать параллельно.

Ответить | Правка | К родителю #27 | Наверх | Cообщить модератору

22. "Стабильный релиз СУБД MySQL 8.0"  +/
Сообщение от Аноним (-), 20-Апр-18, 06:58 
Если останавливают процессы, то это не горячее а холодное копирование.
Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

25. "Стабильный релиз СУБД MySQL 8.0"  +/
Сообщение от angra (ok), 20-Апр-18, 07:41 
Из контекста остановка продакшена не предусматривалась и про использование реплики не говорилось.
Ответить | Правка | Наверх | Cообщить модератору

26. "Стабильный релиз СУБД MySQL 8.0"  +/
Сообщение от ыы (?), 20-Апр-18, 07:45 
> Из контекста остановка продакшена не предусматривалась и про использование реплики не говорилось.

В общем вместо чтения документации - каждый на своей волне :)

Ответить | Правка | Наверх | Cообщить модератору

28. "Стабильный релиз СУБД MySQL 8.0"  +1 +/
Сообщение от KonstantinB (ok), 20-Апр-18, 08:03 
Вообще-то там речь о девелоперских базах шла.

И что это такой за продакшен без реплики или xtrabackup?

Ответить | Правка | К родителю #25 | Наверх | Cообщить модератору

38. "Стабильный релиз СУБД MySQL 8.0"  +/
Сообщение от ыы (?), 20-Апр-18, 11:06 
> Вообще-то там речь о девелоперских базах шла.
> И что это такой за продакшен без реплики или xtrabackup?

там может быть все что угодно. например 386DX2... какой-то хостинг с 64 мегами озу и низвестно что еще. Потому что 2,5 гига он заливает час...

У меня это происходит несколько быстрее:

./load_test.sh
load innodb

real    2m21.104s
user    0m8.648s
sys    0m1.101s
load isam

real    0m26.690s
user    0m8.809s
sys    0m1.233s


./dump_test.sh
dump innodb

real    0m11.196s
user    0m9.231s
sys    0m1.441s
dump isam

real    0m11.911s
user    0m9.563s
sys    0m1.435s

Ответить | Правка | Наверх | Cообщить модератору

73. "Стабильный релиз СУБД MySQL 8.0"  +/
Сообщение от Аноним (-), 21-Апр-18, 10:09 
> там может быть все что угодно. например 386DX2... какой-то хостинг с 64
> мегами озу и низвестно что еще. Потому что 2,5 гига он
> заливает час...
> У меня это происходит несколько быстрее:

даже с mysqldump+innodb есть фокусы/настройки, чтобы заливать дамп быстрее
история о сокращение востановления бекапа с двух часов (дефолтовые настройки, hdd) до 15 минут (ssd, настройки, параллельная загрузка):
https://www.percona.com/blog/2018/02/22/restore-mysql-logica.../

Ну и есть mydumper с которым тоже можно быстро бекапить/загружать.

Ответить | Правка | Наверх | Cообщить модератору

84. "Стабильный релиз СУБД MySQL 8.0"  +/
Сообщение от angra (ok), 24-Апр-18, 04:55 
Да уж, заменить hdd на ssd тот еже фокус/настройка. Предлагаю не менее эффективные фокусы/настройки: добавить еще 64 гига памяти и заменить процессор на топовый.
Ответить | Правка | Наверх | Cообщить модератору

83. "Стабильный релиз СУБД MySQL 8.0"  +/
Сообщение от angra (ok), 24-Апр-18, 04:52 
Заметь, что соотношение осталось прежним 1:6
Ответить | Правка | К родителю #38 | Наверх | Cообщить модератору

53. "Стабильный релиз СУБД MySQL 8.0"  +/
Сообщение от Аноним (-), 20-Апр-18, 13:51 
Это была поправка на конкретное высказывание
http://www.opennet.ru/openforum/vsluhforumID3/114115.html#12
Ответить | Правка | К родителю #25 | Наверх | Cообщить модератору

39. "Стабильный релиз СУБД MySQL 8.0"  +/
Сообщение от Валик228 (?), 20-Апр-18, 11:07 
вам бы попробовать дампить базу с ключем --disable-keys

Ответить | Правка | К родителю #11 | Наверх | Cообщить модератору

13. "Стабильный релиз СУБД MySQL 8.0"  –1 +/
Сообщение от Аноним (-), 20-Апр-18, 01:05 
Статья устаревшая из-за старой используемой версии у Убера. Хотя, конечно, никто не без проблем.
Ответить | Правка | К родителю #8 | Наверх | Cообщить модератору

14. "Стабильный релиз СУБД MySQL 8.0"  +1 +/
Сообщение от KonstantinB (ok), 20-Апр-18, 01:09 
Да пофиг какая версия, основное там - это родовая проблема с организацией данных. Из-за нее, кстати, и нужен тяжелый VACUUM. Патчи в новых версиях только смягчают проблему, но не решают.

Все остальные пункты - действительно мелкие придирки.

Ответить | Правка | Наверх | Cообщить модератору

63. "Стабильный релиз СУБД MySQL 8.0"  +/
Сообщение от Ilya Indigo (ok), 21-Апр-18, 05:08 
> Postgre пока не нyжен - детально так раъяснено почему - https://habrahabr.ru/company/devconf/blog/353682/

Благодарю за ссылку! Зачитался и задумался аж на 2 часа.

Ответить | Правка | К родителю #8 | Наверх | Cообщить модератору

81. "Стабильный релиз СУБД MySQL 8.0"  +/
Сообщение от fi (ok), 23-Апр-18, 14:30 
этот старый вброс давно разобран по косточкам — там в основном проблемы разраба, плюс ему очен хотелось MySQL
Ответить | Правка | К родителю #8 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру