LM Studio 0.3.15 wprowadza wsparcie dla kart graficznych NVIDIA GeForce RTX serii 50, a także wykorzystania bibliotek CUDA 12.8 i głębokiej integracji z llama.cpp. Jest to biblioteka open-source, która umożliwia lokalne uruchamianie modeli językowych na różnych platformach sprzętowych.
LM Studio jeszcze lepsze
Zastosowań SI jest mnóstwo – można zarówno tworzyć dedykowanych agentów, jak również formatować teksty. Dzięki LM Studio z możliwości oferowanych przez sztuczną inteligencję można korzystać lokalnie, bez konieczności łączenia się z siecią. Wykorzystanie w tym celu mocy przerobowych, jakie oferują karty graficzne NVIDIA GeForce RTX, umożliwia wydajne wnioskowanie, zwiększoną ochronę danych i pełną kontrolę nad wdrażaniem oraz integracją AI.
Co istotne – jest to narzędzie bezpłatne, dzięki któremu użytkownicy mogą wchodzić w interakcję z modelami poprzez interfejs czatu na pulpicie lub włączyć tryb deweloperski. Pozwoli on na korzystanie z punktów końcowych API zgodnych z OpenAI. Efekty? Można łatwo łączyć lokalne modele LLM z niestandardowymi agentami desktopowymi lub specjalistycznymi aplikacjami, jak np. Obsidian czy VS Code. Pozwoli to na zyskiwanie szybszych odpowiedzi i wygodniejsze interakcje.
Czytaj też: Gemini w końcu przestanie być frustrujące w edycji zdjęć. Zmierza do nas obiecująca nowość
Aktualizacja LM Studio wprowadza nowe funkcje dla twórców oprogramowania. Wśród nich zwraca uwagę możliwość bardziej precyzyjnej kontroli narzędzi – służy do tego parametr “tool choice”. Zaktualizowano również edytor systemowych promptów, ułatwiający dostosowywanie i skalowanie lokalnych procesów AI przy jednoczesnym zachowaniu prywatności i przechowywaniu danych na lokalnym urządzeniu.
A jak technicznie karty RTX 50 wpływają na LM Studio? Mówiąc w skrócie:
- obsługa wykresów CUDA grupuje wiele operacji GPU w jedno wywołanie procesora, zmniejszając obciążenie procesora i zwiększając przepustowość modelu nawet o 35%;
- flash attention CUDA kernels – zwiększa przepustowość nawet o 15%, poprawiając sposób, w jaki LLM przetwarzają uwagę — krytyczną operację w modelach transformatorowych. Ta optymalizacja umożliwia dłuższe okna kontekstowe bez zwiększania wymagań dotyczących pamięci lub obliczeń.