#OpenSearch 3.0 is out! 🍾 🥳
After 3 years of 2.x, it's time for the next leap, which brings major upgrades to performance, data management, #vectorDB functionality, and much more.
📈 Upgrade to Apache #Lucene 10 and #JDK 21+
📈 Pull-based ingestion for streaming data, with support for Apache #Kafka and Amazon #Kinesis
📈 Power agentic #AI with native #MCP support
📈 Investigate logs with expanded PPL query tools, backed by Apache #Calcite

Check out our release blog:
https://opensearch.org/blog/unveiling-opensearch-3-0/

If you are curious about the inner workings of #cassandra, #debezium, #druid, #elasticsearch, #lucene, #kafka, #neo4j, or #spark then check out https://glennengstrand.info/software/opensource/analysis which presents a static code analysis of these eight open source giants.

nvidia GTC is coming to the bay area next week. we'll be there with a
* talk about bringing #lucene to the GPU
* a "guess that prompt" meetup between galileo + UnstructuredIO + elastic. join us to outsmart AI ;)
https://lu.ma/guess-that-prompt

A shard is a #lucene instance that runs on a node, that's part of a cluster, and is replicated for fault tolerance.

If that didn't make 100% sense - we now have a 10 minute video explaining
#elastic
infrastructure.

(it's basically a super efficient library with librarians on roller skates?)

https://www.youtube.com/watch?v=sAySPSyL2qE

#lucene 9 end of life cleanup 💥
https://github.com/apache/lucene/pull/13882

#BSI WID-SEC-2024-3313: [NEU] [hoch] #Apache #Lucene: Schwachstelle ermöglicht Codeausführung

Ein entfernter, anonymer Angreifer kann eine Schwachstelle in Apache Lucene ausnutzen, um beliebigen Programmcode auszuführen.

https://wid.cert-bund.de/portal/wid/securityadvisory?name=WID-SEC-2024-3313

Just blogged about "How to sort items by a #custom date in an #Umbraco v13+ #Examine Index".

https://www.nurhakkaya.com/2024/10/how-to-sort-items-by-custom-date-in.html

#lucene #search #umbraco #examine #opensource #hacktoberfest #contribution

Погружение в недра Apache Lucene: архитектура индекса, выполнение поиска и репликация данных

Это перевод моей статьи в моем блоге про архитектуру Apache Lucene , про одну из самых известных библиотек реализации поискового индекса. Elasticsearch и Solr, широко известные реализации масштабируемых решений для поиска, они используют эту библиотеку под капотом. Я работаю над созданием решений для поиска в сфере электронной коммерции, и постоянно сталкиваюсь с этой библиотекой при повседневной работе. Apache Lucene реализует большую часть необходимого функционала для построения поисковой системы. Начиная с процесса токенизации, который извлекает канонические формы слов в виде токенов, продолжая полной реализацией инвертированного индекса, и завершая репликацией сегментов в режиме близком к реальному времени. Количество практически полезных фичей, реализованных за два десялилетия существования библиотеки, колоссально. Эта библиотека интегрирует знания из лингвистики, математики и компьютерных наук. Инвертированный индекс Apache Lucene реализует архитектуру инвертированного индекса. На уровне реализации логический индекс содержит коллекцию неизменяемых сегментов, хранящихся как файлы в файловой системе. Каждый сегмент сам по себе является инвертированным индексом. Такой индекс — это структура данных словаря с терминами в качестве ключей и данными по размещению (postings) в качестве значений. Постинг — это список идентификаторов документов и количеств вхождений термина в данном документе. Этот словарь использует Finite State Transducers, FST [1] для поиска терминов, что можно представить как нечто похожее на отсортированные списки с пропусками [2]. Такая отсортированная навигационная карта является краеугольным камнем для эффективного поиска по огромным обьемам документов. Lucene также очень эффективен в использовании памяти. Среди прочих алгоритмов, он использует алгоритмы кодирования разницами для сжатия идентификаторов документов в постингах [3]. Упрощенно идея этого сжатия заключается в сортировке списока целых чисел и сохранения дельт между ними. Это также повышает производительность операций ввода-вывода диска.

https://habr.com/ru/articles/852666/

#lucene #поиск #поисковые_системы #лингвистика

#lucene 10 is out: https://lucene.apache.org/core/corenews.html#apache-lucenetm-1000-available
and the #elasticsearch upgrade is already kicking off, starting the countdown for version 9: https://github.com/elastic/elasticsearch/pull/114741

Some people blog about K8s, I prefer to blog about K9. https://opensourceconnections.com/blog/2024/10/10/dogfights-in-open-source-search-solr-opensearch-and-elasticsearch/ #solr #elasticsearch #opensearch #opensource #lucene

#BSI WID-SEC-2024-3049: [NEU] [mittel] #Apache #Lucene #Replicator: Schwachstelle ermöglicht nicht spezifizierten Angriff

Ein Angreifer kann eine Schwachstelle in Apache Lucene Replicator ausnutzen, um einen nicht näher spezifizierten Angriff durchzuführen.

https://wid.cert-bund.de/portal/wid/securityadvisory?name=WID-SEC-2024-3049

@timbray The dk.brics.automaton Java library comes to my mind immediately. Very minimalistic, incredibly fast and efficient (C-like code actually) and only Junit test dependencies.

https://github.com/cs-au-dk/dk.brics.automaton

https://www.brics.dk/automaton/

Plus, it is widely used in e.g. #lucene and via this in things like #solr or #ElasticSearch

8️⃣.0️⃣ approximate kNN search based on HNSW with float vectors on the _knn endpoint. this like many other (but not all) changes is based on improvements in #lucene 3/18

Elasticsearch is Open Source, Again

#amazon #apache #java #lucene #opensource

https://www.elastic.co/blog/elasticsearch-is-open-source-again?utm_medium=erik.in&utm_source=mastodon

🤣 Found this in the #Lucene codebase

Vous sauriez s'il existe une option dans une Lucene Query de Grafana de passer une variable de majuscule à minuscule ou inversement ?

J'ai une variable Grafana que le user doit renseigner en majuscule mais qui doit être exploitée en minuscule dans des graphiques...

#aide #grafana #lucene

approximate kNN search:
* good estimate
* you can control speed vs precision through the num_candidates setting (basically overfetching on the approximation for getting very close to exact kNN)
* #lucene uses HNSW: think of it as highways, roads & streets 🛣️ 3/9

great validation on all the progress #elasticsearch and #lucene have made as a vector database (besides all the other features and improvements)
guess we'll "just" have to do a lot more shouting about it 📣
https://reddit.com/r/elasticsearch/comments/1d3xtds/is_elastic_search_better_than_chromadb/

Last week's #OpenSearch #Lucene Study Group - covering prefetch changes coming in Lucene 10.0, improved performance, & improved concurrency https://youtu.be/uHstNtlr76U

Any friends (or potential friends :)) in #stockholm ? I'll be in Stockholm and have some availability to meet up. Interested in connecting in general as well as with folks in #search, #informationretrieval, #knowledgemanagement, #library sciences.

#sweden #elastic #ElasticSearch #opensearch #solr #lucene #ir