🌘 史瓦西神經網路：可微分的史瓦西相似性，實現心理學上可信的深度學習
➤ 告別幾何距離，擁抱心理學直覺：史瓦西神經網路革新深度學習的相似性度量
✤ https://gonzoml.substack.com/p/tversky-neural-networks
本文介紹了一種名為「史瓦西神經網路」(Tversky Neural Networks) 的新穎深度學習架構。作者提出將傳統神經網路中用於衡量相似性的點積或餘弦相似性，替換為 Amos Tversky 提出的更複雜、更符合人類認知特徵的史瓦西相似性模型。透過將這個原本離散的特徵匹配模型轉換為可微分的形式，史瓦西神經網路能夠與現有的梯度下降優化方法兼容，並在多個任務上展現出顯著的性能提升，同時也大幅增強了模型的解釋性。
+ 這聽起來很有趣！將人類的相似性判斷機制融入神經網路，感覺能讓模型更聰明。不過，增加的可微分操作會不會讓訓練變得更複雜？
+ 史瓦西相似性的可解釋性真的很吸引人。如果能像文中所說，直接對應到數字的筆畫，那對理解模型的決策過程會非常有幫助。期待實際應用！
#深度學習 #神經網路 #心理學 #計算機視覺 #自然語言處理

🌕 電腦視覺基礎
➤ 歷經深度學習革命的十年淬鍊之作
✤ https://visionbook.mit.edu
《電腦視覺基礎》由MIT學者撰寫，以精煉篇幅涵蓋影像處理與機器學習的視覺核心技術。本書歷經十年編寫，見證深度學習革命如何重塑領域架構，透過多視角闡釋基礎理論與當代技術的演進連結。
+ 第五章的鏡頭成像原理圖解超清晰！終於看懂景深公式推導
+ 作者自嘲篇幅失控好真實，但第37章遷移學習實用案例再多些更好
##計算機視覺 #機器學習 #學術專著

🌘 最陡下降密度控制實現緊湊型3D高斯潑濺技術
➤ 革命性點雲優化技術登CVPR 2025
✤ https://arxiv.org/abs/2505.05587
研究團隊提出SteepGS技術，透過最佳化密度控制策略，在保持3D高斯潑濺技術即時渲染優勢下，成功將高斯點數量減少50%。該技術採用陡峭密度控制演算法，有效解決傳統方法產生的冗餘點雲問題，顯著降低記憶體消耗與運算需求。
+ 這項技術突破將加速XR裝置的普及化，終於能在行動裝置實現高品質3D建模！
+ 論文中的理論框架解析深入，期待開源實作早日釋出驗證效果。
#計算機視覺

🌘 VLMaterial：使用大型視覺語言模型的程序性材料生成
➤ 利用大型模型簡化程序性材料生成過程
✤ https://arxiv.org/abs/2501.18623
本文介紹瞭如何利用大型視覺語言模型（VLM）從輸入圖像生成程序性材料的Python程序，並提出了一個開放源碼的程序性材料數據集，允許用戶進行有效的模型微調和增強。
+ 這項研究真的很有意思，未來或許可以應用在遊戲和動畫製作中。
+ 開放源碼的數據集對這個領域的發展非常有幫助，期待看到更多的應用。
#計算機視覺

🌕 [2502.06445] 在動態視頻環境中對視覺語言模型進行光學字符識別的基準評估
➤ 視覺語言模型對於動態視頻環境中光學字符識別的評估
✤ https://arxiv.org/abs/2502.06445
本文介紹了一個開源基準，用於評估在動態視頻環境中進行光學字符識別任務的視覺語言模型（VLMs）。提出了一個由1,477個手動註釋幀組成的精心選擇的數據集，跨越多個領域，包括程式編輯器、新聞廣播、YouTube視頻和廣告。三款最新的VLMs - Claude-3、Gemini-1.5和GPT-4o 與 EasyOCR 和 RapidOCR 等傳統 OCR 系統進行了基準測試。評估指標包括單詞錯誤率（WER）、字符錯誤率（CER）和準確性。我們的結果突出顯示了 VLMs 在基於視頻的 OCR 任務中的優勢和限制，展示了它們在許多情境下超越傳統 OCR 模型的潛力。然而，仍然存在虛幻、內容安全政策以及對遮擋或樣式化文本敏感的挑戰。數據集和基準測試框架可供公眾使用，以促進進一步的研究。
+ 這項研究對於視頻中光學字符識別的技術發展提供了有益的見
#機器學習 #計算機視覺 #文本識別

🌗 輝煌泡沫：即時可微分的光線追蹤
➤ 創新的光線追蹤解決方案
✤ https://radfoam.github.io
研究可微分場景表示法正朝向更高效的即時模型發展，最近 splatting 方法的流行取代了傳統的光線渲染，但也使得光線傳輸現象的實作變得更困難。本文提出一種新的場景表示法，名稱為“輝煌泡沫”，其利用歷史悠久的高效體積網格光線追蹤演算法，達到接近高斯 splatting 的渲染速度和質量，且無需特殊硬體支持。
+ 這種新算法真的可以顯著提升渲染速度嗎？
+ 聽起來非常有潛力，希望能在實際應用中看到效果！
#計算機視覺

🌘 AI先驅李飛飛對計算機視覺的願景 - IEEE Spectrum
➤ 專訪AI先驅李飛飛：探索機器視覺的進階智能
✤ https://spectrum.ieee.org/fei-fei-li-world-labs
李飛飛是AI方面的先驅，她的新創公司World Labs致力於提供機器3D空間智能。在NeurIPS大型AI會議上，她分享了對機器視覺的願景。
+ 非常有趣！瞭解到李飛飛對於機器視覺的獨特看法。
+ 這篇文章清晰地展示了李飛飛對於AI技術的前瞻性思考，令人印象深刻。
#人工智慧 #計算機視覺

#開源分享 一款可視化的OpenCV算法開發工具：PaperVision，以可視化節點的方式創建OpenCV算法，即時預覽功能，一邊編輯一邊查看效果

特點是直觀、即時回饋、容易上手，不寫程式碼也能實現專業效果

專案地址： github.com/deltacv/PaperVision

#OpenCV算法開發 #PaperVision #計算機視覺

🌘 Sapiens：人類視覺模型的基礎
➤ Sapiens模型顯著提升人類視覺任務表現
✤ https://arxiv.org/abs/2408.12569
本文介紹了Sapiens，一套針對四個核心人類視覺任務（2D姿勢估計、身體部位分割、深度估計和表面法線預測）的模型。這些模型原生支持高達1K解析度的推理，並且可以輕鬆調整以適應各種任務，只需微調在超過3億張人類圖像上預訓練的模型。實驗結果顯示，透過自我監督的預訓練，大大提升了模型在各種人類視覺任務上的表現。Sapiens在多項人類視覺基準測試中超越現有基準，顯示了顯著的性能改進。
+ Sapiens模型的出現為人類視覺任務帶來了革命性的進步，尤其是在處理大規模圖像數據方面。
+ 自我監督預訓練顯著提高了Sapiens模型的表現，顯示了數據驅動的方法在計算機視覺中的強大潛力。
#計算機視覺 #模式識別

🌘 MVSplat：來自稀疏多視角圖像的高效3D高斯塗抹
➤ MVSplat對比其他先進模型表現優異
✤ https://donydchen.github.io/mvsplat/
MVSplat是一個高效的模型，可以根據稀疏多視角圖像預測乾淨的前向3D高斯分佈。它通過平面掃描建立成本體積表示，利用交叉視圖特徵相似性提供有價值的幾何提示來準確定位高斯中心。MVSplat在大型RealEstate10K和ACID基準測試中實現了最先進的性能，前向推理速度最快（22 fps）。與最新的state-of-the-art方法pixelSplat相比，MVSplat使用了10倍更少參數並且推斷速度超過2倍，同時提供更高的外觀和幾何質量以及更好的跨數據集泛化。
+ 這篇文章介紹了一個非常先進且有用的技術，在三維重建方面有著巨大影響力。
+ 摘要清晰明瞭地解釋了MVSplat技術如何在三維重建方面取得優異表現。
#三維重建 #計算機視覺 #人工智能

🌘 《相機校準對電腦視覺和人工智慧的重要性》
➤ 相機校準對於電腦視覺和人工智慧的應用
✤ https://www.opencv.ai/blog/camera-calibration
本文講述了相機校準對於電腦視覺和人工智慧的重要性，以及相機校準的作用和方案。相機校準是為了讓電腦視覺系統可以準確理解拍攝到的物體，並提供瞭解相機校準的方法和技術。文章詳細解釋了相機校準的目的和程序，以及在不同情況下的應用。
+ 關於相機校準的內容非常實用，能夠幫助讀者瞭解相機校準對於電腦視覺和人工智慧的重要性。
+ 文章內容清晰明瞭，講解了相機校準的原理和適用情況，能夠幫助讀者更深入地理解此概念。
#計算機視覺 #相機校準 #人工智慧

🌘 「柏拉圖表徵假說」
➤ AI模型中的表徵正趨於匯聚
✤ https://arxiv.org/abs/2405.07987
本文主張AI模型中的表徵，特別是深度網絡，正朝著共同點匯聚。透過文獻調查，我們發現不同神經網絡對數據的表徵方式，經過時間演化和跨多個領域，趨於一致。此外，隨著視覺模型和語言模型的增大，它們以越來越類似的方式測量數據點之間的距離。我們假設這種匯聚趨勢正在朝著柏拉圖理想實相的共同統計模型推進。我們將這種表徵稱為「柏拉圖表徵」，並討論了幾種可能的向它施加的選擇壓力。最後，我們討論了這些趨勢的影響、其限制以及對我們分析的反例。
+ 這篇文章提出的柏拉圖表徵假說有趣，值得進一步研究。
+ 我們能夠看到AI模型中的表徵趨於共通性，這可能對未來的機器學習和人工智慧發展有所啟示。
#機器學習 #人工智慧 #計算機視覺 #神經與演化運算

🌗 視覺變換器需要登記registers
➤ 通過添加 registers 修復視覺變換器中的 arti-facts
✤ https://openreview.net/forum?id=2dnO3LLiJ1
本文探討視覺變換器（Vision Transformer）中的問題，發現了特徵圖中的「artifacts」，並提出了簡單有效的解決方案，即在輸入序列中添加新的token來填補這些角色。
+ 這篇論文提供了一個實用的解決方法，以修復視覺變換器中的 arti-facts，對於計算機視覺和自然語言處理的發展具有重要的影響。
+ 這篇論文的發現和解決方案都有很大的價值，對於理解視覺變換器的運作和提高其性能都有助益。
#學術論文 #計算機視覺

🌗 新演算法為計算機視覺解鎖高解析度洞見 | 麻省理工學院新聞
➤ 演算法「FeatUp」為計算機視覺系統帶來高解析度的洞見
✤ https://news.mit.edu/2024/featup-algorithm-unlocks-high-resolution-insights-computer-vision-0318
麻省理工學院的研究人員開發了一種名為「FeatUp」的系統，能夠讓演算法同時捕捉場景的高低細節，類似雷射視力手術般幫助計算機視覺提升解析度。
+ 這項技術對於提高計算機視覺的準確性和細節解析非常有幫助，對於各領域的應用將帶來深遠影響。
+ MIT的研究總是引領著科技的未來方向，這項演算法為人工智慧領域帶來了新的突破和可能性。
#MIT新聞 #計算機視覺 #演算法

🌗 從黑板提取文字：揭示計算機視覺的威力
➤ 讓文字脫胎而出：計算機視覺的驚人技術
✤ https://medium.com/mlearning-ai/extracting-text-from-a-board-unveiling-the-power-of-computer-vision-3811b823a630
本文探討如何運用計算機視覺技術從圖像中提取黑板上的文字，包括抽取黑板、檢出文字行等過程。
+ 資料提取和文字分析在數字化時代將扮演日益重要的角色。
+ 這篇文章深入探討了計算機視覺在文字識別方面的應用，提供了實用的步驟指引。
#計算機視覺 #文字提取

🌘 Arxiv Dives - 視覺變形器(ViT)
➤ 視覺變形器：將轉換器應用於圖像識別的新方法
✤ https://blog.oxen.ai/arxiv-dives-vision-transformers-vit/
這篇研究論文介紹了視覺變形器(ViT)的概念，該模型將轉換器(transformer)應用於圖像識別任務中。與傳統的卷積神經網絡相比，視覺變形器使用自注意機制，將圖像拆分為網格，然後將網格序列輸入轉換器進行抽象和連結。這個模型在大型數據集上進行訓練後，可以達到與傳統模型相當的性能水準，並且在小數據集上擁有更高的遷移學習能力。
+ 這個模型聽起來很有潛力，可以嘗試應用到其他計算機視覺任務上。
+ 將轉換器應用於圖像識別是一個有趣的想法，我很期待看到這個模型在未來的發展中的應用。
#人工智慧 #計算機視覺 #研究論文

🌖 PaLI-3視覺語言模型：更小、更快、更強大
➤ PaLI-3 Vision Language Models: Smaller, Faster, Stronger
✤ https://arxiv.org/abs/2310.09199
本文介紹了PaLI-3，一種比同類型模型小10倍的更小、更快、更強大的視覺語言模型(VLM)，並與使用分類目標預訓練的Vision Transformer (ViT)模型進行比較。作者們發現，儘管在標準圖像分類基準測試中表現稍微不足，但基於對比學習的PaLI在各種多模態基準測試中表現優異，特別是在定位和視覺文本理解方面。作者們將SigLIP圖像編碼器擴展到20億個參數，並在多語言跨模態檢索方面實現了新的最先進技術。他們希望PaLI-3能夠重新燃起對複雜VLM基本部分的研究，並推動新一代的擴展模型。
+ 這種更小、更快、更強大的視覺語言模型(VLM)對人工智慧和計算機視覺領域來說是一個重大的突破。
+ 這種模型的應用前景非常廣泛，未來將會有更多的研究和應用。
#視覺語言模型 #人工智慧 #計算機視覺

🌗 GitHub - roboflow/inference: 用於運行最先進的計算機視覺模型推理的一種主觀工具
➤ GitHub上的roboflow/inference是一種主觀工具，用於運行最先進的計算機視覺模型推理。
✤ https://github.com/roboflow/inference
GitHub上的roboflow/inference是一種主觀工具，用於運行最先進的計算機視覺模型推理，並提供了一個可擴展的方法來管理視覺項目的推理。
+ 這是一個非常有用的工具，尤其是對於那些需要運行計算機視覺模型推理的人來說。
+ GitHub上的roboflow/inference提供了一個可擴展的方法來管理視覺項目的推理，這是非常有用的。
#GitHub #計算機視覺 #推理

🌗 GitHub - capjamesg/visionscript: 一種用於計算機視覺的高級編程語言
➤ 介紹GitHub上的一種用於計算機視覺的高級編程語言
✤ https://github.com/capjamesg/visionscript
GitHub上的capjamesg/visionscript是一種用於計算機視覺的高級編程語言，使用Python構建，提供運行對象檢測、分類和分割模型的簡單語法。它還提供了交互式Web筆記本，可通過該筆記本運行VisionScript代碼。
+ 這是一個很有用的工具，尤其對於那些對計算機視覺感興趣的人來說。
+ 看起來很有前途，我期待著看到更多的功能和應用。
#編程語言 #計算機視覺 #Python

🌖 H100 GPU在首次MLPerf基準測試中為通用AI設定了標準 | NVIDIA博客
➤ NVIDIA H100 GPU在首次MLPerf基準測試中創下新紀錄，為生成AI設定了標準
✤ https://blogs.nvidia.com/blog/2023/06/27/generative-ai-debut-mlperf/
NVIDIA H100 Tensor Core GPU在最新的MLPerf訓練基準測試中創下了新紀錄，特別是在推動生成AI的大型語言模型方面。在由初創公司Inflection AI和CoreWeave運營的3,584個H100 GPU集羣上，該系統在不到11分鐘內完成了基於GPT-3的大規模訓練基準測試。這些成果反映了H100 GPU在各種基準測試中的卓越表現，並展示了NVIDIA AI平臺的多功能性和可擴展性。
+ NVIDIA的H100 GPU在生成AI方面的表現非常出色，這將有助於推動AI技術的發展。
+ 這些基準測試結果表明NVIDIA的
#人工智慧 #雲服務 #計算機視覺 #生成AI #硬體 #機器學習 #NVIDIA Hopper架構 #推薦系統