Перейти к основному содержанию
Ollama запускает открытые языковые модели на твоём сервере: данные не уходят в облако, API-ключи и подписки не нужны. С моделью общаешься в консоли или через локальный API.

​
Железо

GPU на серверах нет: модель считает на процессоре и целиком грузится в RAM. Не хватит памяти – процесс убьёт OOM-killer.
  • 1B–3B (llama3.2, gemma3:1b) – CPU и несколько ГБ RAM, отвечает, но не мгновенно.
  • 7B–8B – CPU и много RAM, заметно медленнее, терпимо для экспериментов.
  • 13B и больше – нужен GPU, на VPS не вариант.
Бери модель по размеру сервера и держи запас памяти. На маленьком тарифе выручит своп-файл, но он медленный: это страховка, а не замена RAM. Памяти не хватает постоянно – возьми тариф больше: Апгрейд в карточке сервера.

​
Установка

Подключись по SSH под root: Подключение. Синтаксис и список моделей меняются, сверься с ollama.com и github.com/ollama/ollama.
  1. Ollama – официальный скрипт ставит движок и фоновый сервис:
  2. Модель – скачается и сразу откроется диалог:
    Без тега качается вариант 3B, около 2 ГБ. На 2–4 ГБ RAM (VPS-1, VPS-2) бери облегчённый явно:
    Теги :1b и :3b задают размер модели. Первый запуск качает модель, от сотен МБ до нескольких ГБ, дальше она берётся с диска. Выйти из диалога: /bye.

​
Модели

  • ollama pull gemma3 – скачать модель заранее. Список моделей и их размеры: ollama.com/library.
  • ollama list – скачанные модели.
  • ollama rm gemma3 – удалить модель и освободить диск.

​
API

Ollama слушает локальный API на http://localhost:11434. Запрос из своего кода:
Нужен чат в браузере – поставь Open WebUI в Docker-контейнер, он работает поверх Ollama. Как поставить Docker: Docker.
Порт 11434 наружу не открывай: открытый API любой нагрузит за счёт твоего сервера. По умолчанию API доступен только локально. Нужен доступ извне – закрой порт файрволом и пускай только через прокси с авторизацией.
Сеть или порт не работают – пиши в @lumisup_robot, софт настраиваешь сам. Дальше: Своп-файл, Docker.