Google for Developers (@googledevs)

TensorFlow 2.21이 출시되었습니다. LiteRT가 정식 프로덕션으로 승격되어 온디바이스 추론용 범용 프레임워크 역할을 하며, GPU에서 기존 TFLite 대비 1.4배 빠른 성능과 새로운 NPU 가속을 제공한다고 공지되었습니다. 또한 저정밀도 지원이 추가되어 온디바이스 성능 최적화가 강화되었습니다.

https://x.com/googledevs/status/2030010555923046630

#tensorflow #litert #tflite #npu #ondevice

LiteRT, 온디바이스 AI의 새로운 표준

https://aisparkup.com/posts/8800

Tomorrow I'll see whether I manage to convert a #PyTorch model to #LiteRT and then further to LiteRT for microcontroller. so far I always used Tensorflow/Keras but the model we are working on was created with PyTorch.

Melvin Vivas (@donvito)

Google AI Edge 관련 소식으로, LiteRT가 실시간 가속 이미지 분할을 지원한다고 발표되었습니다. Android용 핸즈온 튜토리얼(Codelab)이 제공되어 엣지 디바이스에서 이미지 분할을 가속하는 개발을 바로 실습해볼 수 있습니다.

https://x.com/donvito/status/2013158201567354899

#google #litert #imagesegmentation #android #edgeai

Meet #Google’s new accelerator for #LiteRT - Qualcomm AI Engine Direct (QNN) - designed to enhance on-device AI performance for Qualcomm-powered #Android devices running Snapdragon 8 SoCs.

The results❓
⚡ Up to 100× faster than CPU execution
⚡ Up to 10× faster than GPU

Learn more: https://bit.ly/4atd1go

#InfoQ #AI #LLMs #Mobile

Chuyển đổi safetensor/GGUF sang LiteRT cho LLM locally trên điện thoại. Người dùng gặp trở khăn với Edge Gallery yêu cầu model_LR/Task/LITERLM. Cần giải pháp transfer format hoặc appᚱ l який hỗ trợ mô hình trên S25. Chi tiết: [link]
Tags: #AI #LiteRT #Ghg4 #Safetensor #Android #LocalLLM #Megalopy #ThậpNguoidnij

(498 ký tự)

https://www.reddit.com/r/LocalLLaMA/comments/1oekn2v/any_way_of_converting_safetensor_and_gguf_to/

For all those interested in our #VirtualComputer stack for #robotics on #Quest3 we have just upgraded to #Qemu 7.2.0 and have full support for camera #passthrough #XR #Linux and #GPU acceleration (tested with #LiteRT #AI)