Ostatnio naprawdę wciągnęło mnie lokalne prowadzenie dużych modeli językowych (LLM) i po zobaczeniu wszystkich Fajne rzeczy, które możesz zrobić za pomocą narzędzi MCPZdałem sobie sprawę, że nadszedł czas na niewielką aktualizację moich ustawień.
Początkowo, gdy pojawił się DeepSeek R1, wskoczyłem na ten rynek, ale od tego czasu pojawiło się wiele nowych modeli. Biorąc pod uwagę tempo zmian, uznałem, że warto zoptymalizować również swój tok pracy.
Szybkie linki
LM Studio to najlepsza lokalna aplikacja LLM, z jakiej korzystałem (jak dotąd).
Ollama jest dobra, ale ja wolę tę.
W zeszłym roku zacząłem eksperymentować z lokalnymi dużymi modelami językowymi (LLM) korzystając z OllamaDziałało całkiem nieźle, ale mój biedny MacBook Air z zaledwie 8 GB pamięci RAM zdecydowanie nie był zaprojektowany do obsługi takiego obciążenia. Mimo to chciałem spróbować czegoś innego, częściowo z ciekawości, a częściowo po to, żeby sprawdzić, czy uda mi się uzyskać jeszcze większą wydajność.
Dlatego zdecydowałem się wypróbować LM Studio. To aplikacja, która pozwala pobierać i uruchamiać duże modele językowe (LLM) lokalnie na komputerze, a do tego ma przejrzysty interfejs użytkownika. Ponieważ używam Maca, obsługa MLX była dla mnie kluczowa. Jeśli nie znasz MLX, to platforma uczenia maszynowego firmy Apple, zaprojektowana specjalnie dla Apple Silicon.
Zasadniczo pozwala to modelom działać wydajniej z wykorzystaniem procesora graficznego (GPU). Chciałem jednak ująć to w liczbach, więc porównałem Ollamę z LMStudio bezpośrednio, używając tego samego modelu.
W LM Studio osiągałem większą liczbę symboli na sekundę, ale różnica była na tyle niewielka, że nie miała większego wpływu na ogólne wrażenia. Mimo to, chętnie skorzystałbym z każdej dodatkowej wydajności, jaką mogłem uzyskać.
Myślę jednak, że nie ma większego znaczenia, czy wybierzesz Ollamę czy LM Studio, tym bardziej, że oba narzędzia wykorzystują podobne podstawowe struktury do lokalnego uruchamiania modeli.
Moją główną pretensją na początku był brak obsługi multimediów. Ale to już nie jest prawdziwy problem. Zarówno Ollama, jak i LM Studio obsługują teraz szablony multimedialne, a kilka zaawansowanych opcji dobrze radzi sobie z tekstem i obrazami na urządzeniach lokalnych.
Wybór odpowiedniego modelu może być nieco trudny
To może być drogie hobby
Podczas pierwszej instalacji LM Studio, pierwszą rzeczą, którą musisz zrobić, jest wybór szablonu. Może to wydawać się nieco mylące, jeśli jesteś nowy w tym temacie, ponieważ nie ma jednej, prostej odpowiedzi „użyj tego szablonu”. Właściwy wybór zależy tak naprawdę od posiadanego sprzętu.
Jeśli otworzysz menu „Wyszukiwanie modeli” w LM Studio, zobaczysz listę najpopularniejszych modeli. Prostym sposobem na sprawdzenie, jak bardzo pożądany jest dany model, jest sprawdzenie liczby poprzedzającej literę „B” w jego nazwie.
Litera „B” oznacza miliardy parametrów. Generalnie im wyższa ta liczba, tym mocniejszy model. Oznacza to również, że będzie wymagał więcej zasobów. Na komputerze Mac z 8 GB pamięci VRAM, moim zdaniem, od 3 do 4 miliardów parametrów to dobry zakres. Na komputerze PC sytuacja może być nieco bardziej skomplikowana. Zamiast standardowej pamięci RAM systemu, najważniejsza jest ilość dostępnej pamięci VRAM.
Jeśli masz 8 GB pamięci VRAM, możesz swobodnie eksperymentować z modelami o parametrach 7-bitowych, szczególnie w lżejszych konfiguracjach kwantowych. Z mojego doświadczenia wynika, że najlepszym rozwiązaniem jest zacząć od mniejszego modelu i stopniowo zwiększać jego rozmiar, aż znajdziesz odpowiedni.
Osobiście bardziej przyciągnął mnie model Gemma 3 4B, który opiera się na tym samym fundamencie co modele Google Gemini. Mimo to polecam również wypróbowanie modeli Qwen. W zależności od tego, co robisz, może on być dla Ciebie znacznie lepszym wyborem.
Możesz nawet dodać wyszukiwanie w Internecie do swojego lokalnego programu LLM
DuckDuckGo przychodzi na ratunek
Jedną z największych wad natywnych modeli LLM (Large Language Models), z jakimi się spotkałem, jest ich ograniczenie w porównaniu z modelami opartymi na chmurze, takimi jak ChatGPT, jeśli chodzi o wyszukiwanie w internecie. Pytanie o najnowszego iPhone'a i rozpoczęcie rozmowy z LLM o iPhonie 14 nie jest zbyt pomocne. To jeden z obszarów, w którym modele oparte na chmurze okazały się lepsze.
LM Studio ma wbudowany system wtyczek, a dodanie wyszukiwarki internetowej jest niezwykle proste. Wystarczy przejść do Strona dodatku DuckDuckGoNastępnie wybierz opcję Uruchom w LM Studio.
Po włączeniu tej opcji, podczas uruchamiania formularza, pod polem czatu pojawi się opcja z pytaniem, czy chcesz wywołać DuckDuckGo dla swojego zapytania. Jeśli ją przełączysz, LM Studio pobierze wyniki wyszukiwania na żywo i wprowadzi je do formularza przed wygenerowaniem odpowiedzi.
To nie wszystko, co można zrobić za pomocą wtyczek. Zespół LM Studio stworzył również kilka bardzo przydatnych. Na przykład, mają wtyczkę do Wikipedii, która pozwala Twojemu dużemu modelowi językowemu czytać i wyszukiwać artykuły z Wikipedii (oczywiście).
Dostępna jest również wtyczka JavaScript Sandbox, która może być bardzo przydatna, jeśli interesujesz się kodowaniem wibracji i chcesz szybko zorientować się, co jest tworzone. Nie powiedziałbym jednak, że warto poświęcać czas na stworzenie czegoś gotowego do produkcji.
Pozbądź się dużych firm
Możesz skonfigurować LM Studio tak, aby uzyskać dostęp do obszernego modelu językowego z telefonu, ale jeśli chcesz przesłać wszystkie wnioski bezpośrednio do telefonu, jest to również możliwe. Uruchamianie mniejszych i większych modeli językowych na telefonie z systemem AndroidChoć nie będzie tak wydajny jak ten na komputerze Mac.
Udoskonalanie tych lekkich modeli postępuje w szybkim i imponującym tempie. Biorąc pod uwagę spodziewany wzrost kosztów sprzętu, nie zdziwiłbym się, gdyby firmy takie jak OpenAI czy Google podniosły ceny subskrypcji. To pocieszające, że konfiguracja pozostaje niezmieniona.
