The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Выпуск pg_ivm 1.6, реализации инкрементального обновления представлений для PostgreSQL

05.09.2023 11:10

Опубликован выпуск проекта pg_ivm 1.6, развивающего расширение с реализацией механизма инкрементального обновления представлений (IVM, Incremental View Maintenance) для СУБД PostgreSQL. Код написан на языке Си и распространяется под лицензией PostgreSQL. Поддерживается работа с ветками PostgreSQL 13, 14 и 15. В новой версии в IVM добавлена поддержка выражения EXISTS и предоставлена возможность использования подзапросов, использующих EXISTS в блоке WHERE.

IVM представляет собой альтернативный способ обновления материализованных представлений, более эффективный в случае, если изменения затрагивают небольшую часть представления. IVM позволяет мгновенно обновлять материализованные представления, применяя к ним только инкрементальные изменения, без повторного вычисления представления, производимого при использовании операции "REFRESH MATERIALIZED VIEW".

  1. Главная ссылка к новости (https://www.postgresql.org/abo...)
  2. OpenNews: В CVE опубликованы отчёты о ложных уязвимостях в curl, PostgreSQL и других проектах
  3. OpenNews: Для PostgreSQL представлен движок хранения OrioleDB, обходящийся без операции VACUUM
  4. OpenNews: Утилита pg_easy_replicate, упрощающая перенос БД между серверами PostgreSQL
  5. OpenNews: Релиз pgAdmin 4 7.0, интерфейса для управления СУБД PostgreSQL
  6. OpenNews: Релиз СУБД PostgreSQL 15
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/59716-pg_ivm
Ключевые слова: pg_ivm, postgresql
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (25) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 11:57, 05/09/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +6 +/
    затрудняюсь определить нужность проекта. требуется консультация экспертов.
     
     
  • 2.3, Lost Inside (ok), 12:07, 05/09/2023 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Использование грамотно обновляющихся представлений способствует повышению удобства доступа к данным.
    Повышение удобства доступа к данным полезно.
    Формальная логика подсказывает, что IVM - полезная штука.
    С уважением, ваш диванный эксперт.
     
  • 2.4, OpenEcho (?), 12:49, 05/09/2023 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > затрудняюсь определить нужность проекта. требуется консультация экспертов.

    materialized VIEWS are updated immediately after a base table is modified.

     
     
  • 3.7, Аноним (7), 14:52, 05/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Хоть и не отношусь к олдовым никсовым программерам, но озвучу их точку зрения: быстрый доступ к измененным данным нужен только смузихипсторам со ржавой игогошечкой, а нормальные приложения, написанные на сишке, могут часок(денёк)-другой и со старыми данными поработать.
     
     
  • 4.14, Аноним (14), 19:49, 05/09/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Чтобы выдать "ценное" и уместное экспертное мнение по протухшим день назад данным?

    Гипертрофированный пример:

    " - Продавай! Быстрее продавай эти акции! Нехорошая картина вырисовывается!
      - Поздно, их вчера делистнули с биржи"

    БД используются не только для неспешной обработки аналитики, когда можно неделями принимать решение.

     
     
  • 5.26, scriptkiddis (?), 20:09, 06/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Биржа акции деньги. Пример по методичке, слабо.
     
  • 4.16, ыы (?), 20:12, 05/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Вы извиняюсь кем работаете с такими взглядами?
     
  • 4.18, YetAnotherOnanym (ok), 06:58, 06/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > нормальные приложения, написанные на сишке, могут часок(денёк)-другой и со старыми данными поработать

    Почти тонко.

     
     
  • 5.20, ыы (?), 07:31, 06/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    За это время они выжмут из данных все... А потом еще разок с ними поработают...
     
  • 2.5, Аноним (5), 14:22, 05/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Большинству не нужно значит никому не нужно. Л - Логика.
     
  • 2.8, VladSh (?), 15:22, 05/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    К примеру, в документоориентированной Lotus Domino есть 3 основных варианта обновления представлений:
    - Automatic - оно именно так и работает, как здесь заявлено (происходит обновление данных только той записи представления, которая соответствует изменившемуся документу);
    - Manual - для обновления пользователем при открытии представления в UI либо программно (пересчитываются данные всего представления);
    - Auto, at most every _ hours (пересчитываются данные всего представления).

    Особенности первого варианта - обновления работают быстро, но постоянно грузят сервер, - обновление данных по изменившемуся документу автоматически происходят сразу во всех представлениях, у которых обновление установлено в "Automatic". Этот режим как раз установлен по умолчанию при создании нового представления.

    Для тех представлений, для которых критически важно в каждую секунду видеть свежее состояние, есть возможность настроить динамическое обновление (очень прожорливая штука).

     
     
  • 3.19, Аноньимъ (ok), 07:18, 06/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Что за  такое эти материализованные инкрементальеые представления вообще такое?!
     
     
  • 4.21, ыы (?), 07:35, 06/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    вьюха выглядит как таблица, но это просто кусок кода вычисляется каждый раз при обращении к ней
    материализованная вьюха - это и впрямь деле таблица, куда кладутся данные из вьюхи, при этом обновляется она при изменении данных.
    инкрементальная материализованная вьюха - данные обновляются только в тех строках в которых произошли изменения а не вьюха целиком
    наверное как-то так...
     
     
  • 5.22, Аноньимъ (ok), 08:32, 06/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Про вьюхи знаю.
    Спасибо! Познавательно.
     
  • 4.29, Аноним (29), 01:39, 08/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Инкрементальная материализованная вьюха - аналог INSERT FROM SELECT, периодически выполняемого для вспомогательной таблицы-агрегата, в которую автоматом докидываются триггерами изменения построчно
     
  • 3.23, Бывалый смузихлёб (?), 09:22, 06/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Оуу, доминоха с лотусами
    Уж думал никогда больше о них не услышу почти как о квик-бейсике
     
     
  • 4.24, VladSh (?), 13:35, 06/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    От Domino мало кто смог уйти в виду отсутствия нормальных платформ-конкурентов. Почту многие перевели на Exchange, но и всё.
    Индусы перекупили домину у IBM. Сейчас уже 12-я версия. Там по сути само хранилище осталось старым с небольшими усовершенствованиями, а остальное давно вперёд уехало; к примеру:
    - 5 вариантов UI: классический Notes, XPages, Nomad, Volt, возможность разработки на Angular или React;
    - новый Java-API, предоставляющий возможность прямой и быстрой работы с базой, в отличие от того, что было раньше (обёртки над C-API);
    - множество доработок по администрированию и т.д.
     
     
  • 5.25, Бывалый смузихлёб (?), 17:39, 06/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Ну хорошо что хоть допилили, а то во времена моей работы из реального и универсального был лишь жс сильно отсталой версии с кучей нюансов

    А вообще-то, даже забавно. Когда там МДМ сие представило - в конце 90-х / начале 00-х - и, даже на время моей работы, несмотря на убогость интерфейсов, подобного функционала особо никто не предлагал
    Да и сейчас, похоже, тоже. Там ведь хоть и основано многое на почте, но дело не только в ней
    Умели же когда-то архитектуру и функционал проектировать

     
     
  • 6.30, VladSh (?), 13:36, 09/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Как раз в начале 0-х IBM купила Lotus у компании Iris. По настоящему вложилась всего в одну версию - в 6-ю. Потом тупо стригла бабло и почти 2 десятка лет кормила обещаниями клиентов, что будет развитие платформы... Индусы, после того, как в 2017-м году выкупили продукт, реально дали ему вторую жизнь. За эти годы они сделали больше, чем за 25 лет IBM.
     
     
  • 7.31, Бывалый смузихлёб (?), 16:33, 10/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    В том и прикол, отчасти
    Там, помнится, даже были подобия электронных подписей для каждого аккаунта
    А ведь то начиналось ещё с 00-х

     
     
  • 8.32, VladSh (?), 14:47, 11/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    В плане электронных подписей ничего не изменилось - всё норм с давних времён, - ... текст свёрнут, показать
     

  • 1.9, ыы (?), 15:39, 05/09/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    когдаже бэкап то нормальный появится в постгресе?
     
     
  • 2.10, Аноним2 (?), 17:06, 05/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Нормальный это какой?
    Для маленьких баз (гигов так на 100) есть бекап из коробки разных видов (бинарный, текстовый, с разными разделителями и даже зачем то с сжатием), а для больших есть решения для инкрементальных бекапов
    Что ещё может понадобиться?
     
     
  • 3.12, ыы (?), 17:41, 05/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Часть того что вы назвали не является бэкапом. Люди называют экспорт бэкапом... и можно было бы смириться если бы не  микрософт и оракл...

    Часть  - не позволяет произвести бэкап в зависимости от структуры данных (у микрософта и оракла с этим проблем нет)

    Из того что умеет восстанавливать на произвольный промежуток времени - нельзя развернуть произвольную базу в произвольном месте (у микрософта и оракла с этим проблем нет)

    И да, все эти способы забэкапить - РАЗНЫЕ, по средствам, логике, жизненному циклу...
    Зоопарк разношерстных хреновых инструментов а не бэкап.

    Посмотрите на бэкап микрософта и оракла.

     
     
  • 4.27, Alex (??), 09:19, 07/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Мы в качестве бекапа используем целый сервер и называем его stabdby. А так как он у нас на виртуалке то можем всегда его перекинуть куда угодно. А если знаем примерно куда кидать, то отправляем туда snapshot, виртуалки.
     
     
  • 5.28, ыы (?), 22:05, 07/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    че только не узнаешь на ночь глядя... стэндбай это не бэкап. или у вас стэндбай на ленте? и сколько у вас баз в кластере? и ради  восстановления одной базы вы перекидываете кудато целую виртуалку? жесть...
     
  • 2.11, 1 (??), 17:36, 05/09/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    С бакапами там всё худо/бедно нормально.

    С кластеризацией непонятки.

     
     
  • 3.15, ыы (?), 20:02, 05/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    все там понятно. кластер там один - стэндбай.
    то что назвали кластером в постгрес про- недоразумение...
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру