Разработчик веб-скраперов (53 бота) в 500 м от вас и хочет познакомиться: как не подхватить скрапера?
Меня зовут Арсений Савин, и я знаю, как бороться с вредоносными ботами. Почти два года я занимаюсь разработкой веб‑скраперов в компании Effective, и хорошо изучил, как они работают — и как их остановить. За время реализации этого проекта я столкнулся с огромным количеством разнообразных и неочевидных способов скрапинга, о защите от которых я расскажу в этой статье. План такой: сначала разберём, что такое веб‑скрапинг и какие бывают типы ботов, а потом — то, чем чаще всего они выдают себя, и какие методы защиты от них действительно работают. Эта статья написана по докладу для конференции Saint Highload++ и носит исключительно ознакомительный характер. Она создана для изучения уязвимостей веб‑сайтов в целях повышения устойчивости к атакам злоумышленников. Любые попытки несанкционированного доступа, взлома или нарушения работы сайтов — противоправны и преследуются по закону.
https://habr.com/ru/companies/oleg-bunin/articles/944830/
#scraping #иб #информационная_безопасность #боты #сайты #infosec #information_security #hacking #hacks #websec