The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Доступна операционная система Redox 0.2, написанная на языке..., opennews (??), 26-Апр-17, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


26. "Доступна операционная система Redox 0.2, написанная на языке..."  +4 +/
Сообщение от Аноним (-), 27-Апр-17, 08:00 
Зако_пайте уже давно монго, Постгре давно быстрее на родных монговских задачах. И надежнее и АСИД.
Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

32. "Доступна операционная система Redox 0.2, написанная на языке..."  –1 +/
Сообщение от F (?), 27-Апр-17, 08:43 
Сон такой приснился? Ну, во сне чего не бывает, хорошо хоть без ссылок на тесты!
Ответить | Правка | Наверх | Cообщить модератору

36. "Доступна операционная система Redox 0.2, написанная на языке..."  +/
Сообщение от anomymous (?), 27-Апр-17, 08:57 
Не все способны осилить SQL, и уж тем более - грамотное построение баз, смиритесь с этим. Для них существуют монги и прочий трэш.

Нет, есть места, где noSQL действительно даст реальный выигрыш в силу отсутствия транслятора запросов, но это скорее совсем уж примитивные и критичные к производительности сегменты приложений, и ни разу не те приложения, под которые noSQL сейчас усиленно сватается.

Ответить | Правка | К родителю #26 | Наверх | Cообщить модератору

59. "Доступна операционная система Redox 0.2, написанная на языке..."  –7 +/
Сообщение от лютый жабист__ (?), 27-Апр-17, 11:11 
> Нет, есть места, где noSQL действительно даст реальный выигрыш в силу отсутствия
> транслятора запросов, но это скорее совсем уж примитивные и критичные к
> производительности сегменты приложений, и ни разу не те приложения, под которые
> noSQL сейчас усиленно сватается.

Если ты не троль, а на самом деле заблуждаешься, то расскажу тебе правду, по секрету:

-самые тупые задачи - голый НОСКЛЬ
-задачи средней сложности - РСУБД
-задачи большой сложности и или большой объём - НОСКЛЬ плюс аппсервер, а потом и распределенный вычисления.

Если ты ни с чем кроме п.1 не сталкивался, с неким поползновением в п2, то когда школу закончишь, возможно что-то изменится :) главное поменьше пиши, побольше читай. Удачи, дружище! :)

Ответить | Правка | Наверх | Cообщить модератору

70. "Доступна операционная система Redox 0.2, написанная на языке..."  –3 +/
Сообщение от лютый жабист__ (?), 27-Апр-17, 12:22 
>> Нет, есть места, где noSQL действительно даст реальный выигрыш в силу отсутствия

И ещё, следующая задача: построить граф связей по ЕГРЮЛ (10 млн юрлиц, в каждом от 1 до нескольких тысяч учредителей, 1 руководитель, 1 дочка, 1 головное, одная управляющая компания). Потом быстро искать по этому.

Работаю с Neo4J, скорость радует.

Удачи работать с этим из Слона 8))))

Ответить | Правка | Наверх | Cообщить модератору

109. "Доступна операционная система Redox 0.2, написанная на языке..."  +/
Сообщение от Вареник (?), 27-Апр-17, 17:47 
Гениальный пример - в обсуждении Монго (сливает всем) вставить пример на преимущество графа на граф-онли базе.

А лучшее решение, на мой взгляд - гибридные модели вроде OrientDB и более близкая интеграция с ORM чем трансляция через слой SQL.

Ответить | Правка | Наверх | Cообщить модератору

124. "Доступна операционная система Redox 0.2, написанная на языке..."  +1 +/
Сообщение от anomymous (?), 27-Апр-17, 20:42 
> Гениальный пример - в обсуждении Монго (сливает всем) вставить пример на преимущество
> графа на граф-онли базе.

Тут в другом проблема. Распихаем документы в document-based storage, реляцию в SQL, графы в граф-онли...

А потом дружно за***мся поддерживать сразу три движка и коннектора.
Хотя для некоторых задач оправдано. Если бюджет позволяет.

Ответить | Правка | Наверх | Cообщить модератору

123. "Доступна операционная система Redox 0.2, написанная на языке..."  +1 +/
Сообщение от anomymous (?), 27-Апр-17, 20:40 
Не вижу проблем построить граф как с реляционной БД так и с noSQL. Идентификаторы и признаки связи много памяти как бы не жрут.
Ответить | Правка | К родителю #70 | Наверх | Cообщить модератору

135. "Доступна операционная система Redox 0.2, написанная на языке..."  –2 +/
Сообщение от лютый жабист__ (?), 28-Апр-17, 05:39 
> Не вижу проблем построить граф как с реляционной БД так и с
> noSQL. Идентификаторы и признаки связи много памяти как бы не жрут.

Уже писал другим ораторам. Можно всё загрузить в Слона. Вопрос как это будет работать по сравнению с noSQL. Тут кто-то выше ляпнул, что Слон давно побеждает NoSQL (не Монго, а NoSQL). Так толсто, что я повёлся 8)))))

Для информации: импорт 20млн объектов и 50млн связей в Neo4j занимает 2 минуты на девелоперской машине (без ССД). Проход по графу пока не тестил, но по бенчмаркам в Инете, на порядки быстрее любых костылей на nosql или рсубд.

Если тебе можно жалобно заплакать и сказать "дядя не бейте, тут надо просто подождать относительно небольшое число секунд и запрос отработается", не надо делать выводов, что везде так. Кровавый ынтырпрайз не таков 8)))))

Ответить | Правка | Наверх | Cообщить модератору

148. "Доступна операционная система Redox 0.2, написанная на языке..."  +1 +/
Сообщение от amonymous (?), 28-Апр-17, 14:57 
Ну да, я верю, что ты граф по ЕГРЮЛ строишь в реалтайме каждую секунду, и даже не кешируешь при этом.
Ответить | Правка | Наверх | Cообщить модератору

167. "Доступна операционная система Redox 0.2, написанная на языке..."  –1 +/
Сообщение от лютый жабист__ (?), 02-Май-17, 19:13 
> Ну да, я верю, что ты граф по ЕГРЮЛ строишь в реалтайме
> каждую секунду, и даже не кешируешь при этом.

Закончил тесты, pure java решение Neo4j - скорость поиска shortestpath по графу с 17млн объектами 10-12 милисекунд (при глубине 10 шагов). Граф строится 1мин. ОЗУ 3.5ГБ ест. Шах и мат, слоник...

Ответить | Правка | Наверх | Cообщить модератору

125. "Доступна операционная система Redox 0.2, написанная на языке..."  +/
Сообщение от anomymous (?), 27-Апр-17, 20:51 
Ну и да.

Ну вот реальная задача из жизни. Call-центр, 1.2 миллиона вызовов в месяц (40+К звонков в сутки). У каждого вызова могут быть дочерние вызовы (переводы звонка), надо найти ещё входной номер, потом очередь, пройти по цепочке очередей, найти агента в очереди, взять имя этого агента, при наличии внешнего номера - взять DID, определить время звонка и итог - отвечен, не отвечен, свалил в другую цепочку очередей, свалил на мобилку, etc., отфильтровать лишнее (например звонки от DID или мобильников агентов), всё это распихать по категориям/географии/клиентам/подразделениям, и выдать в виде агрегата по какому-либо признаку.

Всё это надо сделать за относительно небольшое число секунд, т.к. это "срезовая" выборка по запросу пользователя, с пачкой неизвестных заранее критериев, которые пользователь может "подкручивать". Может быть как за месяц, так и за произвольный период.

MariaDB/TokuDB/8G RAM. В качестве диска - SAN/iSCSI, достаточно нагруженный, т.е. "пилить" "диском" нежелательно. Работает и не жужжит.

К чему это всё? А к тому, что дело зачастую оказывается вовсе не в движке БД. По аналогии с автомобилем.

Ответить | Правка | К родителю #70 | Наверх | Cообщить модератору

134. "Доступна операционная система Redox 0.2, написанная на языке..."  –3 +/
Сообщение от лютый жабист__ (?), 28-Апр-17, 05:31 
>"Ну вот реальная задача из жизни. Call-центр, 1.2 миллиона вызовов в месяц (40+К звонков в сутки). У каждого вызова могут быть дочерние вызовы (переводы звонка), надо найти ещё входной номер"

Недостаточно информации, но предварительно - объем данных такой, что можно делать хоть на чём, чтобы отвечало за "относительно небольшое число секунд", хоть на sqlite.

А вот чтобы отвечало за "относительно небольшое число МИЛИСЕКУНД", welcome to NOSQL.
Если тебе разрешил насяльника, чтобы всё тупило или ты смог его убедить, что по-другому невозможно, возьмите с полки пирожок 8)))))

Ответить | Правка | Наверх | Cообщить модератору

149. "Доступна операционная система Redox 0.2, написанная на языке..."  +1 +/
Сообщение от amonymous (?), 28-Апр-17, 14:58 
Граф по ЕГРЮЛ за несколько миллисекунд? Сочувствую, чо. Ну и кеширование не зря придумали.
Ответить | Правка | Наверх | Cообщить модератору

155. "Доступна операционная система Redox 0.2, написанная на языке..."  +/
Сообщение от Анином (?), 29-Апр-17, 09:30 
Маленький нюанс. Есть еще этап проектирования структур данных. Можно так спроектировать, что будет тормозить, а можно так, что все сделается 1 запросом и быстро.
Ответить | Правка | К родителю #70 | Наверх | Cообщить модератору

57. "Доступна операционная система Redox 0.2, написанная на языке..."  –1 +/
Сообщение от лютый жабист__ (?), 27-Апр-17, 11:07 
Ну например из последнего, 1.1 терабайта XML-ек с ЕГРЮЛ. XML-ки на русском, например <сведдолжнфл>блабла</сведдолжнфл> 8) Глубина порядка 5 уровней, количество уникальных элементов около 500. XSD нет.

В Монгу грузанул за несколько часов, включая проганье. Потом индексы построил на нужных полях (на 1-2-3-4 уровнях) без проблем.

Флаг в руки грузить это в Слона, реляционный мой голубчик.

Ответить | Правка | К родителю #26 | Наверх | Cообщить модератору

84. "Доступна операционная система Redox 0.2, написанная на языке..."  +2 +/
Сообщение от phil (??), 27-Апр-17, 14:29 
Загрузил егрюл в PG с реляциями и индексами. Конечно, закодировано это было не за несколько часов, а за неделю, но результат - полноценная аналитическая платформа
Ответить | Правка | Наверх | Cообщить модератору

97. "Доступна операционная система Redox 0.2, написанная на языке..."  –2 +/
Сообщение от лютый жабист__ (?), 27-Апр-17, 16:11 
> Загрузил егрюл в PG с реляциями и индексами. Конечно, закодировано это было
> не за несколько часов, а за неделю, но результат - полноценная
> аналитическая платформа

Свежо питание... 50млн xml-ек по 300-500 записей, разложенных на _минимум_ 20 таблиц. Только загрузка заняла намного больше недели.

Потом собирать карточку - join из 20+ таблиц. Доооо... полноценная аналитическая платформа.

Ответить | Правка | Наверх | Cообщить модератору

103. "Доступна операционная система Redox 0.2, написанная на языке..."  +/
Сообщение от phil (??), 27-Апр-17, 17:03 
45 таблиц. 9 млн. организаций, 82 млн записей Егрюл. Устаревшие XML-ки не грузились.
Если все, что тебе нужно от базы - собрать карточку, - конечно, тебе не нужна РСУБД, можно практически без парсинга XMLи эти грузить. Но и сбор карточки JOINом 45 таблиц проходит с вполне приемлемой производительностью.
Ответить | Правка | Наверх | Cообщить модератору

130. "Доступна операционная система Redox 0.2, написанная на языке..."  –1 +/
Сообщение от MadeInRussia (?), 28-Апр-17, 01:27 
А я бы посмотрел в сторону Apache Ignite — с одной стороны, поддержка SQL, с другой — высокая производительность и распределенный вычисления "из коробки". А персистенсом за Ignite поставил бы Cassandra.
Ответить | Правка | Наверх | Cообщить модератору

136. "Доступна операционная система Redox 0.2, написанная на языке..."  –3 +/
Сообщение от лютый жабист__ (?), 28-Апр-17, 05:53 
> А я бы посмотрел в сторону Apache Ignite — с одной стороны, поддержка SQL, с другой — высокая производительность и распределенный вычисления "из коробки".

До распределенных вычислений дорасти надо. Местные эксперты, судя по всему, застряли на "переросли голый nosql" и "ну теперь всё кульDBA могучего Слона, который всех рвёт".
До хайлоада ещё как до луны 8)))) зачем им РВ?

Ответить | Правка | Наверх | Cообщить модератору

133. "Доступна операционная система Redox 0.2, написанная на языке..."  –1 +/
Сообщение от лютый жабист__ (?), 28-Апр-17, 05:17 
> 45 таблиц. 9 млн. организаций, 82 млн записей Егрюл. Устаревшие XML-ки не
> грузились.
> Если все, что тебе нужно от базы - собрать карточку, - конечно,
> тебе не нужна РСУБД, можно практически без парсинга XMLи эти грузить.
> Но и сбор карточки JOINом 45 таблиц проходит с вполне приемлемой
> производительностью.

Полный показ карточки это одна из задач. Работа с разными полями, разумеется, тоже есть.

>"сбор карточки JOINом 45 таблиц проходит с вполне приемлемой"

Эхехе, представляю :)))) Вообще тут задвигали что "слон давно рвёт Монгу". Я даже не буду приводить среднее время ответа, чтобы вы не комплексовали. Намекну, что иногда это меньше 1мс (на одном сервере с прогретым кешем) (т.е. в журнале округляется до 0мс) 8))))

p.s. А грузилась база сколько? 8))))

Ответить | Правка | К родителю #103 | Наверх | Cообщить модератору

137. "Доступна операционная система Redox 0.2, написанная на языке..."  –2 +/
Сообщение от лютый жабист__ (?), 28-Апр-17, 06:07 
> 45 таблиц. 9 млн. организаций, 82 млн записей Егрюл. Устаревшие XML-ки не
> грузились.
> Если все, что тебе нужно от базы - собрать карточку, - конечно,

Кстати, ни в жизнь не поверю, что ты разобрался с ЕГРЮЛ за неделю, включая кодинг. И xsd на сайте налоговой кривой, там не проставлены min/max occurrences в итоге любое поле может быть пустым или единичным элементом или списком. Плюс всякие фирменные фишки в духе - у учредителя в выписке от 2015 года проставлен ИНН, в выписке 2016 не проставлен. Или например в последней версии у ЕИО должность ликвидатор. Дык, это потому что ЮЛ ликвидируется, а реальная должность в предыдущих выгрузках. А ещё приколы - в выгрузке 2014 контора действует, 2015 - ликвидирована - в 2016 регистрация аннулирована судом 8)))) все эти нюансы и многие другие пролетели мимо тебя как фанера мимо Парижа 8))))) либо ты очень сильно приврал про неделю.

Ответить | Правка | К родителю #103 | Наверх | Cообщить модератору

150. "Доступна операционная система Redox 0.2, написанная на языке..."  +2 +/
Сообщение от amonymous (?), 28-Апр-17, 14:59 
Казалось бы, при чём тут noSQL. Правильно казалось.
Ответить | Правка | Наверх | Cообщить модератору

85. "Доступна операционная система Redox 0.2, написанная на языке..."  +/
Сообщение от phil (??), 27-Апр-17, 14:43 
P.S. XSD нашел, хоть и пришлось погуглить немного
Ответить | Правка | К родителю #57 | Наверх | Cообщить модератору

106. "Доступна операционная система Redox 0.2, написанная на языке..."  –1 +/
Сообщение от пох (?), 27-Апр-17, 17:22 
и эти люди будут рассказывать нам сказки о bigdata?
Ответить | Правка | К родителю #57 | Наверх | Cообщить модератору

110. "Доступна операционная система Redox 0.2, написанная на языке..."  +3 +/
Сообщение от Вареник (?), 27-Апр-17, 17:54 
> В Монгу грузанул за несколько часов, включая проганье. Потом индексы построил на
> нужных полях (на 1-2-3-4 уровнях) без проблем.

Ключевой момент - что ты не тебе заниматься поддержкой этого хлама, особенно когда рассинхронизируется.

"Я слабал за полчаса базу и грузанул терабайт" - можно сказать про любую БД с нормальным дисковым массивом.

Ответить | Правка | К родителю #57 | Наверх | Cообщить модератору

126. "Доступна операционная система Redox 0.2, написанная на языке..."  +/
Сообщение от anomymous (?), 27-Апр-17, 20:55 
> 1.1 терабайта XML-ек с ЕГРЮЛ

Будем честными: это не много. Сколько самих XML'ок-то? Миллионов 20 наберётся хотя бы?

Ответить | Правка | К родителю #57 | Наверх | Cообщить модератору

73. "Доступна операционная система Redox 0.2, написанная на языке..."  –2 +/
Сообщение от Sabakwaka (ok), 27-Апр-17, 12:41 
> Постгре давно надежнее.

Нет.


Ответить | Правка | К родителю #26 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру