[Перевод] Reasoning CV-модели OpenAI не смогли посчитать монеты

Новые мультимодальные модели OpenAI o3 и o4-mini позиционируются как "разумные". Однако качественное тестирование на практических задачах вроде подсчета объектов и распознавания текста выявило неожиданные пробелы в их производительности, в некоторых случаях уступающие даже не-reasoning моделям. Узнайте, какие именно тесты провалили новинки и где показали уверенный результат.

https://habr.com/ru/articles/909052/

#ai #computervision #multimodal_llm #openai #llm #testing #evaluation #VQA #ocr

Just read an interesting article about zero-shot VQA evaluation using LLMs on Docmatix! Do we still need fine-tuning for VQA systems? 🤔 #VQA #LLMs

https://huggingface.co/blog/zero-shot-vqa-docmatix

Opening the Canadian sauvignon blanc 🍇🍁#canada #wine #ontario #VQA

This is not really a paper, but rather a note that stresses that if one implements a #variationalprinciple like in #VQA for translationally invariant #Hamiltonians, one better obtains energy densities that scale better than a small constant.

https://scirate.com/arxiv/2301.06142