To Docker or not to Docker? Вот в чём JupyterLab

Локальная работа в Jupyter-ноутбуках – неотъемлемая часть исследований и экспериментов нашего ML-отдела. Но из какой среды эти ноутбуки лучше запускать? Мы пользуемся двумя вариантами: запуском из Docker-контейнера и запуском в изолированном локальном poetry-окружении. В статье соберем минимальный сетап для работы с Jupyter-ноутбуками и ссылки на полезные ресурсы для ознакомления.

https://habr.com/ru/articles/911298/

#poetry #docker #dockercompose #mlops #ml #jupyterlab #jupyter #jupyter_notebook #infrastructure #mlops_tools

[Перевод] Markdown презентации по-новому: контроллер Nintendo, интерактивный блокнот и немного магии

Как превратить скучные слайды в интерактивную демонстрацию, где код можно запускать прямо на месте? В этой статье попробуем перенести презентацию в браузер, а затем — в «блокнот». Интерактивные среды, такие как Jupyter Notebook, Observable, Mathematica, WLJS Notebook, позволяют создавать живые презентации, лекции и наглядные материалы для коллег или студентов. Они незаменимы и для визуализации моделей, симуляций и любых данных. Под катом — примеры, пошаговый разбор и демо вживую.

https://habr.com/ru/articles/904196/

#ppt #markdown #nintendo_switch #jupyter_notebook #jupyter #mathematica #wolfram #wljs #презентация #гироскоп

Web ブラウザで実現する情報科学・バイオインフォマティクス向け Linux 実習環境 3 選
https://dev.classmethod.jp/articles/web-browser-linux-solutions-comparison/

#dev_classmethod #JupyterLab #Jupyter_Notebook #code_server #Open_OnDemand #Amazon_EC2 #AWS #Bioinformatics

Гироскоп в презентации или зачем брать с собой JoyCon на большую научную конференцию

Анимации и свистоперделки в том виде, в котором они были популярны с PowerPoint 10 или 20 лет назад, значительно отступили на второй план. Любые технические доклады сейчас - это зачастую просто PDF документ. А хотелось бы больше 🧙🏼‍♂️ Как? Зачем превращать буханку хлеба в космический корабль? И при чем тут физика и webdev? Давайте разбираться! (осторожно! трафик)

https://habr.com/ru/articles/893940/

#revealjs #markdown #wljs #mathematica #jupyter #jupyter_notebook #nintendo #nintendo_switch #ppt

AWS 上で JupyterHub を使った複数ユーザー向け Linux の演習環境を検証してみた
https://dev.classmethod.jp/articles/jupyterhub-on-aws-for-linux-training/

#dev_classmethod #JupyterLab #Jupyter_Notebook #Amazon_EC2 #AWS

Инструменты Python для анализа данных на примере данных стриминг-сервиса

В данной статье рассмотрены некоторые методы и инструменты библиотек python для анализа данных. Используем три самые популярные библиотеки: Pandas, Numpy, Seaborn

https://habr.com/ru/articles/894530/

#pand #numpy #seaborn #python3 #analytics #jupyter_notebook

Wrote up my experiences with Marimo https://blog.mdfranz.com/threat-hunters-stop-using-jupyter-and-switch-to-marimo/

#python #threathunting #jupyter_notebook

Python для начинающих дата-аналитиков: как настроить виртуальное окружение?

Привет! Меня зовут Женя и я работаю аналитиком данных. В этой статье я бы хотел рассказать начинающим аналитикам о том, как правильно настроить окружение для работы с Python. Когда я только начинал заниматься анализом данных, концепция питоновского виртуального окружения вводила меня в ступор, и здесь я постараюсь показать, что в ней нет ничего сложного.

https://habr.com/ru/articles/889670/

#venv #pip #data_analysis #uv #pandas #jupyter_notebook #python

The namaskara spike, as explained by Mahesh Shantaram(https://thecontrarian.in)😂

(Apologies, I got the name mixed up. Fixed now)

People buying day passes do so on the spot, people buying 3 day passes do so 2-3 days ahead of time and so on for 5 day passes as well

This makes a greeting symbol which is also used for offering prayers (🙏)

(Namaskara in Kannada = namaste in Hindi = namaskaram in Telugu and Malyalam, or so my friend tells me)

This is months of Mahesh scraping the official website for data and analytics. He showed multiple predictions like how Namma Metro's data is likely updated manually, seeing the Holiday pattern.

#barcampblr #bangalore #bangaloretech #dataanalytics #python #jupyter_notebook

СОЗДАНИЕ ETL-ДВИЖКА ДЛЯ РЕПЛИКАЦИИ ДАННЫХ ИЗ APACHE HIVE В CLICKHOUSE

Представлено создание ETL-движка, который помогает автоматически извлекать, преобразовывать и загружать данные из разных источников. Мы сосредоточились на разработке быстрого инструмента, который использует параллельную обработку и оптимизированные алгоритмы. Результаты тестирования показывают, что движок эффективно справляется с большими объемами данных, что помогает лучше анализировать информацию и принимать обоснованные бизнес-решения.

https://habr.com/ru/articles/874262/

#apache_hive #репликация_данных #python #clickhouse #apache_airflow #spark #jupyterlab #jupyter_notebook

[Перевод] Моделируем поверхность Земли в пару строчек

Вы когда-нибудь играли в Outer Wilds ? Планеты там невероятно красивы. Это собственно стало основной мотивацией создать свою простую модель планеты, используя реальные географические данные о высотах и немножко магии Wolfram Language

https://habr.com/ru/articles/872554/

#marching_cubes #геоданные #земля #блокнот #wljs #wolfram #jupyter_notebook #mathematica

機械学習向けのノートブックを前処理や誤差評価とともにパイプライン化してみた
https://dev.classmethod.jp/articles/sagemaker-notebook-job-with-pipelines/

#dev_classmethod #機械学習 #Amazon_SageMaker #Jupyter_Notebook

機械学習向けのノートブックをそのままパイプラインに組み込めるSageMaker Notebook JobをPython SDKから使ってみた
https://dev.classmethod.jp/articles/sagemaker-notebook-job-from-python-sdk/

#dev_classmethod #機械学習 #Amazon_SageMaker #Jupyter_Notebook

Установка Jupyter Notebook в Windows

В одном из предыдущих постов мы уже разбирали работу в интерактивном блокноте на примере Google Colab. Возможность написания кода в ячейках (почти как в MS Excel!), удобное выполнение в интерактивном режиме и совмещение с блоками красиво оформленного текста делает работу с данными — в том числе биологическими — гораздо приятнее. Кроме того, заполненный и хорошо оформленный блокнот избавляет от необходимости придумывать коду какой-то интерфейс и вместо решения биологических задач тратить время на фронтенд-разработку. Блокнот вполне можно передать коллегам, обладающим лишь минимальными навыками Python, чтобы они ввели в него свои данные и воспользовались им для расчётов. То есть это хороший вариант для работы с биологами из «мокрых» лабораторий. У интерактивного блокнота есть и офлайн-реализация, которая называется Jupyter Notebook (Рис. 1). Установить его можно разными способами.

https://habr.com/ru/articles/859812/

#python #jupyter_notebook #windows #path #переменные_среды #установка

Очередная реализация fluid sim методом Эйлера, но в блокноте WL. Чернила. Часть 3

В этой статье мы применим некоторые оптимизации к коду, увеличим разрешение и перейдем в режим immediate graphics, когда рендер выполняется программой, а не API графической библиотеки. Часть 1. Игры с сеткой и дивергенцией Часть 2. Адвекция Часть 3. Чернила То, что вы видите на GIF работает в блокноте (подобном Jupyter / Pluto 🪐) в реальном времени

https://habr.com/ru/articles/856758/

#fluid_simulation #симуляция_жидкости #jupyter_notebook #wolfram_language #wljs #песочница

Moving from #things to #omnifocus by building a #taskpaper doc. OmniFocus has some issues that make it impossible to import areas (which would become folders). My (very short) program is #Python and I developed it in a #jupyter_notebook. If anybody cares I can turn the notebook into a text gist and make it available. I do still have to make repeats work.

Как простые NLP модели видят слова? | NLP | Пишем свой TF-IDF

Когда начинаешь погружаться в сферу NLP , сразу задумываешься, как модели представляют себе наш текст/наши слова? Ведь не логично бы звучало, если модель обрабатывала наши слова, как обычную последовательность букв. Это было бы не удобно и не понятно (как проводить операции со словами?) . Есть разные методы преобразования слов. Один из самых известных для не самых сложных моделей: TF-IDF .

https://habr.com/ru/articles/836706/

#nlp #ai #machinelearning #deeplearning #python #tfidfvectorizer #numpy #pandas #math #jupyter_notebook

Google Colab вместо Jupyter Notebook: плюсы и особенности работы для новичков

Привет! Меня зовут Ольга Матушевич, я наставница на курсе

https://habr.com/ru/companies/yandex_praktikum/articles/825754/

#google_colab #jupyter_notebook #python #анализ_данных #анализ_данных_python

[Перевод] Использование Jupyter Notebook для разведочного анализа данных ⬝ Методические рекомендации

Блокноты Jupyter — это, уже довольно давно, один из самых неоднозначных инструментов в среде дата‑сайентистов. Одни яро критикуют Jupyter, другие горячо поддерживают этот проект. Но, тем не менее, многие согласятся с тем, что блокноты Jupyter, при правильном их использовании, могут быть очень ценным инструментом. Именно этому и посвящена данная статья — вторая в серии моих материалов про науку о данных и машинное обучение. Я поделюсь здесь методическими рекомендациями по использованию Jupyter Notebook для разведочного анализа данных. Но для начала нам надо ответить на вопрос о том, почему блокноты Jupyter обосновались именно в научном сообществе. Когда тема Data Science была у всех на слуху , блокноты Jupyter ещё ничего из себя не представляли. До них у нас был IPython, интерактивная оболочка для Python, которую встраивали в различные IDE, вроде Spyder . Эти IDE пытались подражать работе RStudio или Matlab. Подобные инструменты получили широкое распространение среди исследователей. В 2014 году из среды IPython вырос проект Jupyter. Масштабы его использования очень быстро стали просто огромными, чему, в основном, способствовали исследователи, которые перенесли в бизнес‑среду то, чем пользовались, занимаясь наукой. Но те подходы к использованию блокнотов, которые хороши для научных учреждений, не всегда нормально переносятся на анализ данных, проводимый в обычных организациях. Часто бывает так, что дата‑сайентистам, взятым на работу сразу после университета, очень сложно выдать то, что от них ожидают в бизнесе. Речь идёт о структуре аналитических разработок и об оформлении их результатов.

https://habr.com/ru/companies/wunderfund/articles/792970/

#Jupyter_Notebook #разработка

@destatis Wo ich gerade #binder erwähnt habe. Einfach den Link des (öffentlichen) github repos von weiter oben in binder (z.B. bei der #gesis) einfügen, starten, kurz warten und man kann loslegen. Soweit die Theorie. :-)
Eine Registrierung und Kennwort braucht man hier natürlich trotzdem noch.
https://notebooks.gesis.org/binder/
@destatis Ich würde mir wünschen, dass es zu den meisten Berichterstattungen ein verlinktes #jupyter_notebook gäbe.