MVP по «умному» поиску данных

Всем привет, меня зовут Александр, я аналитик в Альфа-Банке. Совместно с командой мы разрабатываем и развиваем платформу для дата-инженеров (DE) и дата-саентистов (DS), именуемую Feature Store. Она даёт возможность коллегам работать с большими данными и упрощает бюрократию жизненного цикла создания ETL и ввода моделей в промышленную эксплуатацию. Но хотелось бы улучшить процесс по поиску данных в ней, так как объёмы информации стремительно растут. Классический поиск выдаёт результаты по точному совпадению, и это не самый удобный вариант, когда данных много. Поэтому нужную информацию, если ты точно не знаешь как найти, невозможно отыскать. Озадачившись этой проблемой, я решил сделать MVP «умного» поиска, который позволяет искать данные/фичи/поля не по точному совпадению, а с учётом смысла. Надеюсь, данная статья поможет показать и пролить свет на вопрос — «А как же ещё бывает?»

https://habr.com/ru/companies/alfa/articles/915012/

#mvp #gpt #ai #feature_store #data_science #datamarket #mlops #токенизатор #классификация

Me he bajado de #DataMarket los precios de los productos de los supermercados españoles para observar cuáles hacen trampas con la bajada del IVA. No indican el tipo y sería necesario para identificar los superreducidos.
Alguna otra fuente? #OpenData

RT @EU_opendata: The results of the new #European #DataMarket study are out!

Read about the size and trends of the EU data market and #DataEconomy with projections until 2030.

You can find the complete report here 👉 https://ec.europa.eu/newsroom/dae/redirection/document/87523

@IDC4EU @lisboncouncil

🐦🔗: https://nitter.eu/EP_Technology/status/1544973097111101440

#DataExchange
"#YourData is not property. It’s a piece of who you are.
A truly #ethical #datamarket would be one in which contributors have real #agency. #JaronLanier proposes that such a market would allow you to sell data that is “beautiful to you,” and which reflects something you can become excellent in and proud of. Like a collective of gardeners who sell data that helps program gardening #robots others can buy—data that actually represents the fruits of #labor."
https://slate.com/technology/2019/05/data-exchanges-streamr-ubdi-ocean-protocol-privacy.html

RT @linnetelwin@twitter.com

PLEASE RT: challenge - we need a research collaborator in every country in the world. do you have ten minutes and a computer? help us create the first global open dataset on web tracking. here's how: https://globaldatajustice.org/2019-05-01-web-tracking/ #datajustice #privacy #datamarket

🐦🔗: https://twitter.com/linnetelwin/status/1124430683986898946