AI 에이전트 디버깅을 AI가 돕는다: LangSmith의 Polly와 CLI 도구

https://aisparkup.com/posts/7394

🧠 #LangSmith Agent Builder è stato rilasciato in Public Beta.
👉 Test e specifiche: https://www.linkedin.com/posts/alessiopomaro_langsmith-mcp-ai-activity-7402598709806632960-cWHd

___  
✉️ 𝗦𝗲 𝘃𝘂𝗼𝗶 𝗿𝗶𝗺𝗮𝗻𝗲𝗿𝗲 𝗮𝗴𝗴𝗶𝗼𝗿𝗻𝗮𝘁𝗼/𝗮 𝘀𝘂 𝗾𝘂𝗲𝘀𝘁𝗲 𝘁𝗲𝗺𝗮𝘁𝗶𝗰𝗵𝗲, 𝗶𝘀𝗰𝗿𝗶𝘃𝗶𝘁𝗶 𝗮𝗹𝗹𝗮 𝗺𝗶𝗮 𝗻𝗲𝘄𝘀𝗹𝗲𝘁𝘁𝗲𝗿: https://bit.ly/newsletter-alessiopomaro 

#AI #GenAI #GenerativeAI #IntelligenzaArtificiale #LLM #LangGraph

ServiceNow is now leveraging LangSmith, a knowledge graph, and the Model Context Protocol (MCP) to orchestrate AI agents at scale. The new stack—LangGraph + tracing—enables robust, AI‑driven workflows and transparent agent coordination. Curious how this open‑source‑friendly architecture works? Dive into the details. #ServiceNow #LangSmith #KnowledgeGraph #ModelContextProtocol

🔗 https://aidailypost.com/news/servicenow-uses-langsmith-knowledge-graph-mcp-orchestrate-agents

LangSmith 토큰 추적으로 LLM API 비용 50% 줄이는 방법

https://aisparkup.com/posts/5678

От LangChain к LangGraph: детально разбираемся с фреймворками и всей Lang-экосистемой

LangChain или LangGraph? Какой фреймворк для ии-агентов выбрать? А может быть LangSmith? Или LangFuse? LangFlow? Если вы сходу не отличаете все эти Lang-что-то там между собой или просто хочется побольше узнать о внутренностях LangChain и LangGraph, то добро пожаловать в эту статью, которую мне хотелось сделать фундаментальной, чтобы ответить сразу на все возникающие вокруг LangChain вопросы. Поговорим про архитектурные различия между LangChain и LangGraph, их подходы, посмотрим как это выглядит в коде, поищем лучшие точки применения и взглянем на сформированную экосистему вокруг.

https://habr.com/ru/articles/956940/

#langchain #langgraph #langfuse #langsmith #langflow #ленгчейн #фреймворки #llm #большие_языковые_модели #ииагенты

Công cụ mã nguồn mở mới giúp phân tích LangSmith traces để phát hiện lỗi, phân cụm chủ đề, và hiểu ý định người dùng. Đang tìm kiếm người dùng LangSmith (ưu tiên môi trường production) để thử nghiệm và góp ý. Dữ liệu được xử lý cục bộ, không chia sẻ bên ngoài. #AI #OpenSource #LangSmith #CôngNghệ #PhầnMềmMãNguồnMở

https://www.reddit.com/r/SaaS/comments/1nmlh3e/open_source_looking_for_langsmith_users_to_try_a/

LangWHAT?
You've seen names like LangChain, LangGraph, LangFlow or LangSmith – but what’s really behind them?

:blobcoffee: LangChain helps us build LLM apps via modular code.

:blobcoffee: LangGraph adds branching logic and multi-agent workflows.

:blobcoffee: LangFlow lets us create flows with drag & drop.

:blobcoffee: LangSmith monitors and evaluates our LLM stack.

LangChain, LangGraph and LangSmith come from the same ecosystem. LangFlow is a visual builder developed independently by DataStax.

Tried both LangChain and Langflow to build the same chatbot — Medium article coming shortly.

#LangChain #LangFlow #LLM #AI #KI #python #OpenSource #LangGraph #LangSmith #technology #chatbot #ollama

Cline + MCP(Firecrawl)で作業内容を自動把握！LangSmith導入の巻🚀
https://qiita.com/akiraabe/items/d8ef21a3169d3a38aa4c?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #MCP #LangSmith #firecrawl #cline #Mastra

Maximizing AI Agent Application Development Efficiency with LangChain
https://developers.cyberagent.co.jp/blog/archives/54484/

#developers #エンジニア #AI_Agent #generativeAI #Hanoi_DevCenter #LangChain #LangGraph #Langsmith #MultiAgent #PromptEngineer

「LangChainとLangGraphによるRAG・AIエージェント［実践］入門」でつまずいたことメモ:12章
https://qiita.com/segavvy/items/3833525ebace5ff24a4e?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #AI #langchain #LangSmith #langgraph #AIエージェント

Last weekend I created a Typescript version of the #Ollama Deep Researcher using #langgraph #tavily #langsmith
Typescript SDK is still way behind Python but it evolving and progressing.

Link: https://buff.ly/3Cy0CJz

#AI #Agents

LLMOpsツールから考えるAIエージェントの評価
https://qiita.com/licux/items/a7ae9be7431872ee4164?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #GenerativeAI #LLMOps #LangSmith #AgentOps #AIAgent

Как ухватить LLM за хвост: эффективные стратегии тестирования AI-моделей

Как убедиться, что ваша LLM не выдаст полную чепуху в самый неподходящий момент? Как проверить, что она действительно понимает контекст, а не просто генерирует красивые, но бессмысленные фразы? И самое главное — как сделать это эффективно, не тратя недели на ручную проверку тысяч ответов? Давайте разберёмся!

https://habr.com/ru/articles/853038/

#LLM_тестирование #LangSmith #GEval #DeepEval #AI_метрики #LLM

【発売前レビュー】みんな待ってたAIエージェント実践本！ LangChainとLangGraphに入門
https://qiita.com/minorun365/items/81dda2cb4794bcca49ab?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #OpenAI #langchain #LangSmith #langgraph #AIエージェント実践本

[Перевод] Оценка LLM: метрики, фреймворки и лучшие практики

Дженсен Хуанг в своем выступлении на саммите «Data+AI» сказал: «Генеративный ИИ есть везде, в любой отрасли. Если в вашей отрасли еще нет генеративных ИИ, значит вы просто не обращали внимания на это». Однако широкое распространение вовсе не означает, что эти модели безупречны. В реальных бизнес-кейсах модели очень часто не достигают цели и нуждаются в доработке. Вот тут-то и приходят на помощь оценки LLM: они помогают убедиться, что модели надежны, точны и соответствуют бизнес-предпочтениям. В этой статье мы подробно разберем, почему оценка LLM имеет решающее значение, и рассмотрим метрики, фреймворки, инструменты и сложности оценки LLM. Мы также поделимся некоторыми надежными стратегиями, которые мы разработали в ходе работы с нашими клиентами, а также расскажем о лучших практиках. Что такое оценка LLM? Оценка LLM - это процесс тестирования и измерения того, насколько хорошо крупные языковые модели работают в реальных ситуациях. При тестировании этих моделей мы наблюдаем, насколько хорошо они понимают и отвечают на вопросы, насколько плавно и четко они генерируют текст и имеют ли их ответы смысл в контексте. Этот шаг очень важен, потому что он помогает нам выявлять любые проблемы и улучшать модель, гарантируя, что она может эффективно и надежно справляться с задачами. Зачем вам нужно оценивать LLM? Все просто: чтобы убедиться, что модель соответствует задаче и ее требованиям. Оценка LLM гарантирует, что она понимает и точно реагирует, правильно обрабатывает различные типы информации и общается безопасным, понятным и эффективным способом. Оценка LLM позволяет нам точно настроить модель на основе реальной обратной связи, улучшая ее производительность и надежность. Проводя тщательные оценки, мы гарантируем, что LLM полностью может удовлетворять потребности своих пользователей, будь то ответы на вопросы, предоставление рекомендаций или создание контента.

https://habr.com/ru/articles/852046/

#LLM #BLEU_Score #TruthfulQA #meteor #BERTScore #SuperAnnotate #Amazon_Bedrock #Nvidia_Nemo #LangSmith #deepeval

Exciting news! LangSmith now offers dynamic few-shot example selectors, allowing you to rapidly improve LLM app performance with just one click. Say goodbye to manual dataset curation and hello to efficiency! 🚀 #LangSmith #LLMApps

https://blog.langchain.dev/dynamic-few-shot-examples-langsmith-datasets/

Don't miss it

#meetup Online April 17th 6:30 pm Paris time

Harrison Chase, #Langchain's creator

free registration
https://www.meetup.com/fr-FR/langchain-and-llm-france-meetup/events/300045589/

#LLMs #Langsmith

I'm finding it more difficult than I expected to wrap my head around #Langsmith the #Langchain module for monitoring and evaluation of #LLM based pipelines.

This article on @datacamp by Bex Tuychev helped a lot
https://www.datacamp.com/tutorial/introduction-to-langsmith

https://smith.langchain.com/overview

#LangSmith for tracing #LLMs seems to the next logical steps when making #GenerativeAI really production ready.

As it is based on #LangChain this has the potential to decouple from the specifics of the sdk implementations of the various LLM providers.

Tracing and Monitoring is a key thing. Currently development in projects seems compared to that more like try and error.

Sure, all still very new. But a way forward to get a development habit.

#Python

The things i would do for a langsmith invite code.
#langchain #langsmith