Ollama: model językowy na własnym komputerze, bez konta i bez internetu
👁 120 przeczytań
Ollama uruchamia modele językowe na Twoim komputerze. Instalujesz jedną rzecz, wpisujesz nazwę modelu i po pobraniu rozmawiasz z nim bez internetu, bez konta i bez wysyłania czegokolwiek na zewnątrz. To jest odpowiedź na pytanie, które zadaje każdy, kto raz pomyślał o wklejeniu firmowego dokumentu do czatu: czy da się mieć to u siebie.
Co jest potrzebne
Decyduje pamięć, nie procesor. Małe modele, rzędu kilku miliardów parametrów, ruszą na zwykłym laptopie z ośmioma gigabajtami pamięci i nadają się do prostych zadań. Średnie potrzebują szesnastu do trzydziestu dwóch gigabajtów i to jest poziom, na którym praca zaczyna być sensowna. Duże wymagają mocnej karty graficznej albo komputera z dużą pamięcią współdzieloną i wtedy zbliżają się jakością do tego, co znasz z czatów w przeglądarce.
Kluczowa jest świadomość różnicy: model uruchomiony lokalnie jest mniejszy od tego, który stoi za komercyjnym czatem, więc będzie słabszy. Nie kupujesz tu jakości, tylko prywatność, brak limitów i brak rachunku.
Kiedy to ma sens
- Dokumenty, których nie wolno wysłać. Umowy, dane osobowe, materiały objęte poufnością. To główny i najmocniejszy powód.
- Praca bez internetu albo w miejscu z odciętym dostępem.
- Zadania masowe. Przetworzenie dziesiątek tysięcy tekstów, gdzie rozliczenie za zużycie u dostawcy zrobiłoby się kosztowne.
- Nauka i eksperymenty. Możesz sprawdzić, jak zachowują się różne modele, nie płacąc za każdą próbę.
Polszczyzna, czyli miejsce, gdzie trzeba sprawdzić samemu
Modele otwarte różnią się polszczyzną znacznie bardziej niż komercyjne czaty. Część radzi sobie dobrze, część produkuje zdania poprawne gramatycznie, ale brzmiące jak tłumaczenie z angielskiego. To nie jest cecha narzędzia, tylko konkretnego modelu, więc jedyny sensowny sposób wyboru to przetestowanie kilku na własnym zadaniu, po polsku, a nie sugerowanie się rankingami liczonymi po angielsku.
Wśród modeli otwartych mocną pozycję mają rozwiązania chińskie, opisane w przewodniku po DeepSeeku. Warto też pamiętać, że sam fakt uruchomienia lokalnie nie czyni modelu lepszym, a różnice między wersjami komercyjnymi zbieram w rankingu modeli AI.
Google · Twoje źródłaPromptowy wyżej w Twoim Google - jednym kliknięciemDodaj do preferowanych źródeł →Co można na tym zbudować
Ollama udostępnia lokalny punkt dostępu zgodny z popularnym standardem, więc narzędzia napisane pod komercyjne modele często działają z nim po zmianie jednego adresu. To otwiera drogę do własnych automatyzacji, w których dane nie opuszczają komputera. Jeśli budujesz przepływy pracy, naturalnym połączeniem jest n8n, które również można uruchomić u siebie i które ma węzły do modeli lokalnych.
Cały tydzień w AI, w jednym mailu
Wybrane premiery, narzędzia i analizy. Raz w tygodniu, prosto do skrzynki.
Zapisz się za darmo →Najczęstsze pytania
Co to jest Ollama?
Narzędzie, które uruchamia modele językowe na Twoim komputerze. Po pobraniu modelu rozmawiasz z nim bez internetu, bez konta i bez wysyłania danych na zewnątrz.
Jaki komputer jest potrzebny do Ollamy?
Decyduje pamięć. Małe modele ruszą na laptopie z ośmioma gigabajtami, sensowna praca zaczyna się od szesnastu do trzydziestu dwóch, a duże modele wymagają mocnej karty graficznej.
Czy model lokalny jest tak dobry jak ChatGPT?
Nie. Model uruchomiony u siebie jest mniejszy od tego, który stoi za komercyjnym czatem. Nie kupujesz tu jakości, tylko prywatność, brak limitów i brak rachunku.
Czy modele w Ollamie mówią po polsku?
Różnie, i to bardziej niż w przypadku czatów komercyjnych. Jedyny sensowny sposób wyboru to przetestowanie kilku na własnym zadaniu po polsku, bo rankingi liczy się zwykle po angielsku.
Czy Ollama jest darmowa?
Tak, samo narzędzie i modele otwarte nie kosztują nic. Płacisz jedynie sprzętem i prądem, a przy zadaniach masowych to i tak zwykle taniej niż rozliczenie za zużycie u dostawcy.
Podobne tematy na Promptowym
