Przez długi czas bez wahania wklejałem umowę do ChatGPT, przesyłałem poufny raport z prośbą o podsumowanie lub wprowadzałem ofertę klienta do narzędzia AI w chmurze. Aż pewnego dnia zatrzymałem się i przeczytałem dokument „Warunki korzystania z usługi” (który przeglądałem leniwie od lat) i zdałem sobie sprawę: te pliki opuszczały moje urządzenie i, przynajmniej tymczasowo, trafiały na czyjeś serwery. Co ciekawe, uświadomiłem sobie, że mój były kolega kiedyś wyjaśnił, dlaczego. Nie ufaj ChatGPT w kwestii poufnych informacjiTa irytacja skłoniła mnie do poszukiwania lepszego rozwiązania.
Znalazłem AnythingLLM, darmową i otwartą aplikację desktopową, która pozwala stworzyć w pełni spersonalizowanego asystenta AI na podstawie własnych dokumentów – i robi to wszystko na Twoim urządzeniu. Stała się jedną z Aplikacje AI typu open source, z których korzystam na co dzieńOto jak faktycznie wyglądała ta transformacja.
Szybkie linki
Instalacja i konfiguracja AnythingLLM zajmuje tylko kilka minut.
Jeszcze przed rozpoczęciem pracy dokładnie informuje Cię, gdzie trafiają Twoje dane.
Po pobraniu pliku instalacyjnego kliknij go dwukrotnie, a kreator przejmie kontrolę. Podczas instalacji automatycznie pobierane są komponenty pomocnicze: biblioteki CUDA firmy Ollama, jeśli posiadasz kompatybilną kartę graficzną NVIDIA – proces, który docenisz, gdy go zrozumiesz. Czym są rdzenie CUDA i w jaki sposób zwiększają ogólną moc obliczeniową? FFProbe do przetwarzania multimediów i zasoby Meeting Assistant do obsługi funkcji audio. Żaden z nich nie wymaga od Ciebie żadnego zaangażowania. Cały proces, od dwukrotnego kliknięcia instalatora do wyświetlenia głównego panelu sterowania, zajął mniej niż pięć minut.
Po uruchomieniu AnythingLLM, jedną z pierwszych rzeczy, jakie się pojawiają, jest ekran przetwarzania danych i prywatności – i zdecydowanie warto go przeczytać. Wyraźnie stwierdza, że formularz i konwersacje są dostępne tylko na Twoim urządzeniu, że tekst dokumentu jest w tym przypadku prywatnie osadzony za pomocą wbudowanego modułu do osadzania AnythingLLM, a wektory są przechowywane lokalnie w LanceDB. Jeśli kiedykolwiek szukałeś… Czym jest baza danych wektorowa i w jaki sposób wzbogaca ona sztuczną inteligencję?Zrozumiesz, że całkowite wyłączenie tego komponentu to ogromna oszczędność prywatności. Nie ma przycisków przełączających, a opcje rezygnacji są ukryte głęboko w ustawieniach. Domyślnie wszystko pozostaje lokalne.
Zaraz po przeglądzie prywatności, AnythingLLM przeprowadzi Cię przez ekran preferencji LLM. Lista obsługiwanych dostawców jest obszerna: w chmurze dostępne są OpenAI, Anthropic, Azure OpenAI, Gemini, Groq i inne. W środowisku lokalnym dostępne są między innymi Ollama, LM Studio, LocalAI, KoboldCPP, Dell Pro AI Studio, Microsoft Foundry Local i Docker Model Runner. Domyślna opcja „AnythingLLM” łączy lokalny moduł uruchamiający modele obsługiwany przez Ollama, co oznacza, że możesz pobierać modele takie jak Phi-4 firmy Microsoft (9.1 GB) lub Qwen3 firmy Alibaba (0.6B) (niewielkie 600 MB) bezpośrednio z aplikacji, bez dodatkowej konfiguracji.
Jeśli Twój komputer nie posiada dedykowanego procesora graficznego (GPU), to nie problem. Połączenie z API Groq zapewnia dostęp do szybkich modeli inferencyjnych, takich jak Llama 3 70B, przy niemal zerowych kosztach, a do uruchomienia potrzebny jest jedynie klucz API. Możesz w dowolnym momencie zmienić dostawcę w ustawieniach, więc nie jesteś ograniczony opcją wybraną w konfiguracji. Zacząłem od lokalnego dostawcy do testów – Phi-3 3.8B zaskoczył mnie, jak dobrze radził sobie z pytaniami i odpowiedziami dotyczącymi dokumentów na laptopie średniej klasy – a następnie przełączyłem się na Groq do trudniejszych zadań, gdzie szybkość była ważniejsza.
Po skonfigurowaniu AnythingLLM przekształca Twoje osobiste dokumenty w asystenta AI.
Twoje pliki znów mówią wyraźniej
Panel powitalny wita Cię listą kontrolną, umożliwiającą rozpoczęcie pracy, oraz paskiem bocznym, który zawiera wirtualną przestrzeń roboczą o nazwie „Moja przestrzeń robocza”. Przestrzenie robocze stanowią podstawową koncepcję organizacyjną w AnythingLLM: każda z nich to niezależne środowisko, w którym dokumenty i rozmowy współistnieją. Wyobraź sobie każdą przestrzeń roboczą jako osobne pomieszczenie: jedno na umowy z klientami, drugie na badania wewnętrzne, a trzecie na notatki osobiste. W razie potrzeby dokumenty można udostępniać między przestrzeniami roboczymi, ale nie kolidują one ze sobą, co pozwala zachować skupienie i dokładność odpowiedzi sztucznej inteligencji.
Dodawanie dokumentów do obszaru roboczego jest proste i odbywa się poprzez przeciąganie i upuszczanie. AnythingLLM obsługuje dokumenty Word, pliki tekstowe, pliki CSV, arkusze kalkulacyjne, pliki audio, a nawet pliki PDF, podobnie jak NotebookLM wykorzystuje tę funkcję, aby zamienić dowolny plik PDF w interaktywną rozmowę.W panelu przesyłania znajduje się również pole „Pobierz stronę internetową”, więc jeśli chcesz pobrać stronę internetową lub zasób online, wklejasz adres URL, a aplikacja automatycznie pobierze zawartość. Po przesłaniu, AnythingLLM przetwarza każdy plik, dzieląc tekst i przechowując wektory lokalnie. Typowy dziesięciostronicowy plik PDF zajmuje zaledwie kilka sekund.
Agenci i stronnicze polecenia policji sprawiają, że AnythingLLM wykracza poza inteligentne pole wyszukiwania
I tu zaczyna się robić naprawdę ciekawie.
AnythingLLM oferuje funkcje agenta wykraczające poza proste pytania i odpowiedzi dotyczące dokumentów. Wykonuje pisanie @agent W czacie możesz aktywować agenta AI, który może wykonywać zadania związane z wywoływaniem narzędzi: wyszukiwanie w internecie, wyszukiwanie pogłębione i działania międzyaplikacyjne. Niestandardowe umiejętności agenta są dostępne w Centrum Społecznościowym AnythingLLM, gdzie biblioteka stale się powiększa. Funkcja polecenia ukośnika umożliwia tworzenie i zapisywanie szablonów komunikatów dla powtarzających się zadań — takich jak podsumowywanie notatek ze spotkań w spójnym formacie, formułowanie odpowiedzi e-mail w określonym tonie lub wyodrębnianie określonych pól z przesłanych dokumentów za każdym razem.
Jeśli chcesz pójść o krok dalej, dostępne jest rozszerzenie przeglądarki, które umożliwia interakcję z instancją AnythingLLM z dowolnej strony internetowej, oraz integracja z GPTLocalhost, która przenosi asystenta bezpośrednio do programu Microsoft Word. Zespoły potrzebujące współdzielonego dostępu mogą wybrać wersję Docker, która dodaje obsługę wielu użytkowników, kontrolę opartą na rolach i białą listę. Aplikacja desktopowa jest więcej niż wystarczająca do użytku osobistego, ale warto wiedzieć, że dostępna jest ścieżka konfiguracji dla zespołu.
Witamy w rewolucji AI dla Ciebie (populacji: Ciebie)
Przechodząc na AnythingLLM, przestałem postrzegać sztuczną inteligencję jako usługę, którą wynajmuję, a zacząłem postrzegać ją jako narzędzie, które posiadam. Moje dokumenty pozostają na moim dysku, moje zapytania pozostają prywatne, a teraz mam cyfrowego asystenta, który naprawdę rozumie mój kontekst, a nie tylko publiczny internet.
