Новые финансовые бенчмарки для LLM. Лаборатории ИИ «Финама»
В Лаборатории искусственного интеллекта «Финама» мы изучаем и развиваем применение ИИ в домене финансов: от бенчмаркинга LLM до прикладных сценариев в трейдинге и управлении рисками. Сегодня хотим поделиться с вами нашим исследовательским проектом. В последнее время мы все чаще встречаем новости вроде “ИИ от OpenAI взял «золото» Международной олимпиады по информатике” . Главное преимущество такого формата оценки — уверенность, что задания оригинальные и что, при обучении модели они не встречались в идентичном виде. Наша лаборатория поставила себе задачу узнать — насколько обширны знания LLM в области экономики, финансов и трейдинга. Вначале мы тестировали модели на открытых Question Answering (QA) бенчмарках (FinQA, ConvFinQA, TATQA), но столкнулись с несоответствием результатов на бенчмарках и в реальном hands-on тестировании. В результате мы пришли к идее использовать для оценки LLM форматы, близкие к существующим сертификационным экзаменам, которые сдают инвесторы для подтверждения своей квалификации CFA-like Level 1, 2, 3 ( Chartered Financial Analyst ) и CMT-like Level 2 ( Chartered Market Technician ). Для проверки того, знают ли модели специфику российского рынка, мы собрали бенчмарк на основе олимпиады « Высшая лига » по трекам «Финансы и инвестиции» и «Мировая экономика». В открытом доступе ( GitHub ) опубликованы не только результаты наших замеров, но и единый фреймворк, поддерживающий как наши новые бенчмарки, так и уже существующие. Надеемся, это поможет развитию LLM4Trading!
https://habr.com/ru/companies/finam_broker/articles/989842/
#искусственный_интеллект #llmмодели #финансовые_бенчмарки #cfa #трейдинг #машинное_обучение #оценка_моделей #российский_рынок #fintech #открытые_данные