I have finally grown more trees leading to this new post on boosted trees - re. chaining Scikit-mol's transformers along with AdaBoost and XGBoost via Scikit_learn's interface and pipelines
https://jhylin.github.io/Data_in_life_blog/posts/19_ML2-3_Boosted_trees/1_adaboost_xgb.html
#cheminformatics #chembl #rdkit #python #ml #xgboost #adaboost #sklearn #scikit_mol

Алгоритмы AdaBoost (SAMME & R2). Принцип работы и реализация с нуля на Python

Следующим мощным алгоритмом машинного обучения является AdaBoost (adaptive boosting), в основе которого лежит концепция бустинга, когда слабые базовые модели последовательно объединяются в одну сильную, исправляя ошибки предшественников. В AdaBoost в качестве базовой модели используется пень решений (могут использоваться другие модели) — дерево с небольшой глубиной, которому присваивается вектор весов размера N, каждое значение которого соответствует определённому значению y_train и изначально равно 1 / N, где N — количество образцов в обучающей выборке. Каждый следующий пень обучается с учётом весов, рассчитанных на основе ошибок предыдущего прогноза. Также для каждого обученного пня отдельно рассчитывается вес, используемый для оценки важности итоговых прогнозов.

https://habr.com/ru/articles/800499/

#adaboost #реализация_с_нуля #алгоритмы_машинного_обучения #python #принцип_работы #data_science #машинное_обучение

Boost your knowledge in #MachineLearning 📚! Discover the ins and outs of the AdaBoost algorithm, its pros, cons, and practical applications. Don't miss out! 🔍👉 https://ak-codes.com/adaboost-algorithm-in-machine-learning/ #AdaBoost #AI

Sun Jan 29, 11AM ET, I will have a live Twitter/YouTube/LinkedIn/Facebook discussion with Dr. Robert Schapire of Microsoft (at Princeton before), a Gödel and Kanellakis Awardee (https://en.wikipedia.org/wiki/Robert_Schapire) on pioneering #Adaboost, #convexanalysis,#ML,#gametheory,#NationalAcademy