The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Компания HashiCorp меняет лицензию на своё ПО с MPLv2 на проприетарную BSL 1.1"
Версия для распечатки Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Исходное сообщение [ Отслеживать ]
Присылайте удачные настройки в раздел примеров файлов конфигурации на WIKI.opennet.ru.
. "Компания HashiCorp меняет лицензию на своё ПО с MPLv2 на про..." +/
Сообщение от Аноним (184), 13-Авг-23, 02:08 
> А почему ты это логосвалкой называешь?

Потому что это и есть логосвалка с вебинтерфейсом в которой есть поиск на базе Apache Lucene.

> Но как бы практически везде, где нужен нормальный full text поиск с ранжированием по релевантности, поддержкой автодополнения и прочим - это пилят на ES или, реже, Sphinx/Manticora.
> У нас на проекте карточки товара хранились в эластике с кросс-поиском по 10 полям + ещё 20 полей учитывались как источники весовых коэффициентов для ранжирования результатов по релевантности.

То есть вам нужно было запилить по-своему кастомизированный полнотекстовый поиск по номенклатурно-справочной информации. Для каждой задачи есть свой подходящий инструмент. Используя ELK для работы с НСИ особенно в вопросах:
- сайтов интернет-магазинов,
- внутренних порталов подбора номенклатуры
Вы, как бы это сказать, дрелью гвозди забивали. И я понимаю, что переделывать никто не будет, но человек который вам предложил такое внедрить не друг вам совсем и лучше его уволить или отлучить от принятия архитектурных решений.

Просто научитесь использовать Apache Solr: https://solr.apache.org/
Solr - это инфраструктура полнотекстового поиска и распределенного кэша, которую можно прикрутить куда угодно и использовать для любых типов основных данных предприятия (НСИ, MDM как угодно их назовите)
При этом если вам нужен crawling каких-то данных вы используете в довесок
+ Apache Nutch: https://nutch.apache.org/
+ Apache Tika: https://tika.apache.org/
Собственно не удивлюсь, что в своем проекте вы Nutch прикрутили для ранжирования результатов.

Сам факт существования Elasticsearch и вся его архитектура и хранилище сводится к простой проблеме. Solr медленнее ищет по динамически меняющемуся хранилищу timeseries-данных. Все дело в том, что инфраструктура кэширования Solr из коробки затюнена под работу с карточками товаров, а не с логами. Ну вот поэтому и написали поверх той же Lucene, но с другими оптимизациями в архитектуре.

Timeseries очень сильно отличается от MDM/НСИ и прочих данных которые хранят в RDBMS и каталогах. Их в обычную современную базу-то положить - горя хапнешь по производительности. Поэтому их кладут в:
- Традиционные ISAM-хранилища, вроде Microsoft ESE (Jet Blue), Berkley DB, MariaDB Aria.
- NoSQL, собственно ELK так делает.
Кроме того при кэшировании нужно учитывать, что данные постоянно дописываются. Это влияет на архитектуру кэша. Люди не меняют карточки товаров раз в секунду, в отличии от timeseries...

> Интересно, у тебя всегда синдром д'Артаньяна или так, временами.

Вы на полном серьезе пишете, что используете ELK для номенклатуры, даже не стыдясь собственного невежества и еще и хамите старшим, фу таким быть. https://en.wikipedia.org/wiki/Dunning%E2%80%9...

Ответить | Правка | Наверх | Cообщить модератору

Оглавление
Компания HashiCorp меняет лицензию на своё ПО с MPLv2 на проприетарную BSL 1.1, opennews, 11-Авг-23, 12:02  [смотреть все]
Форумы | Темы | Пред. тема | След. тема



Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру