Запись [Stepik] Настройка своего локального ИИ сервера с нуля: Ollama+Open WebUI (Ринат Минязев)

​

Настройте свой «ChatGPT» у себя на сервере: документы и переписка не уходят в облако, подписки и ВПНы не нужны. Пошагово развернём рабочий ИИ-сервер для себя и всей команды — Ollama + Open WebUI, доступ по локальной сети через браузер с авторизацией для пользователей, работа с PDF/Word/Excel и изображениями, свой OpenAI-совместимый API. От выбора видеокарты и Windows 11 до продакшн-сервера на Linux. Для компаний доступна оплата по счёту.

Чему вы научитесь:

• Подбирать видеокарту и сервер под задачи и бюджет — от офисного ПК до промышленных решений, не переплачивая за лишние гигабайты видеопамяти.
• Выбирать локальную модель под задачу: понимать квантизацию, размер контекста и реальный расход VRAM — почему одним хватает 8 ГБ, а другим мало 24.
• Устанавливать Ollama на Windows 11 и Linux (Ubuntu Server) и запускать модели на видеокарте — конкретными командами, по шагам, с чек-листами.
• Управлять моделями: загрузка, запуск, обновление, удаление, контроль места на диске и замер скорости в токенах/сек.
• Создавать свою «персону» модели через Modelfile: системный промпт, температура, длина контекста — под задачи вашей команды.
• Разворачивать веб-интерфейс Open WebUI с доступом по локальной сети и автозапуском как службы Windows — сервер переживает перезагрузку без вашего участия.
• Организовывать работу сотрудников с документами (PDF, Word, Excel) через локальную модель — и понимать, где хранятся данные и где проходят границы возможностей.
• Подключать vision-модели для распознавания изображений и планировать память при одновременной работе нескольких пользователей.
• Поднимать свой OpenAI-совместимый API и маршрутизацию на несколько серверов — чтобы встраивать приватный ИИ в собственные сервисы и скрипты.

Большие языковые модели уже стали рабочим инструментом — но что, если не отправлять свои документы и переписку в чужое облако, не платить за подписки и полностью контролировать данные? В этом курсе вы с нуля развернёте собственную локальную ИИ-модель на своём компьютере и сервере: ваш приватный аналог ChatGPT, который работает на вашем железе и не передаёт данные наружу.

Курс построен как пошаговый практикум. Мы пройдём весь путь: от подбора видеокарты и выбора модели под ваши задачи — к установке движка Ollama на Windows, запуску моделей на видеокарте, созданию своей «персоны» модели и замеру скорости. Затем поднимем удобный веб-интерфейс Open WebUI с доступом по локальной сети (с компьютеров и телефонов), настроим работу с PDF, Word и Excel, подключим распознавание изображений и поднимем свой API для интеграции с другими программами. В финале перенесём всё на боевой Linux-сервер (Ubuntu Server) и познакомимся с vLLM.

Каждый урок — это конкретные команды по шагам, разбор типичных ошибок и чек-лист. Вы не просто слушаете теорию, а параллельно повторяете действия на своём оборудовании и в конце получаете работающий локальный ИИ-сервер, готовый к реальным задачам компании или личным проектам.

Опыт в машинном обучении не требуется — нужен лишь базовый уровень работы с компьютером и желание разобраться.
Курс подходит для корпоративного обучения: оплата от юридического лица по счёту через Stepik, по итогам обучения — сертификат.

Для кого этот курс:

• Системные администраторы и ИТ-специалисты, которым нужно развернуть локальный ИИ в компании: многопользовательский доступ по сети, автозапуск службами, контроль ресурсов.
• Разработчики, которым нужен приватный OpenAI-совместимый API на своём железе: подменили base_url — и ваш код работает с локальной моделью без счетов за токены.
• Руководители и владельцы бизнеса, для которых критичны данные клиентов и коммерческая тайна: один сервер вместо десятков подписок, ничего не уходит в чужое облако. Курс можно оплатить от юрлица по счёту.
• Энтузиасты и любители технологий, которые хотят собрать свой приватный ИИ дома
• Все, кто хочет уйти от облаков и полностью контролировать свои данные и расходы.

Для практики понадобится:

• Компьютер с видеокартой NVIDIA (желательно от 8 ГБ видеопамяти). Подбор железа подробно разбирается в первом модуле — можно сначала пройти его, а потом осознанно купить видеокарту под свои задачи и бюджет.
• Windows 11 для основной части курса; для финального модуля — возможность поставить Ubuntu Server второй системой (по желанию, модуль необязательный).
• Опыт в программировании и машинном обучении не нужен.
• Желание разобраться и пройти шаги на практике.

Как проходит обучение:

• Пошаговый практикум. Каждый урок — конкретные действия и команды, которые вы повторяете на своём оборудовании.
• Видео + текст. Уроки сопровождаются скринкастами и текстовыми инструкциями — команды удобно копировать по шагам.
• От простого к сложному. Сначала Windows и база, затем сеть и многопользовательская работа, в финале — рабочий Linux-сервер.
• Разбор ошибок. В каждом уроке блок «если что-то пошло не так» с проблемами и решениями.
• Чек-листы. В конце уроков — контрольные списки: убедитесь, что всё работает, прежде чем идти дальше.
• 3 лабораторные работы. Соберёте свою модель через Modelfile, поднимете Open WebUI с доступом по сети и развернёте ИИ-сервер на Linux.
• Бессрочный доступ: проходите когда удобно и возвращайтесь к урокам как к справочнику. Курс обновляется и дополняется.

Что вы получаете:

Свой приватный ИИ — как ChatGPT, но на вашем железе и без подписок. К концу курса у вас на руках:

• Работающий локальный ИИ-сервер — ваши документы и переписка остаются у вас, ничего не уходит в облако.
• Доступ из браузера по сети — с компьютеров и телефонов, для всей команды.
• Помощник по документам — выжимки из PDF, отчёты, Word, Excel и распознавание изображений.
• Свой API — чтобы встроить модель в свои программы и боты.
• Ноль ежемесячных платежей — никаких подписок на облачный ИИ.
• Навык повторить и масштабировать всё самому — от Windows до боевого Linux-сервера.

Программа:

Подбор "железа" и выбор модели:

• Вводное слово
• Подбор сервера для разворачивания локальной ИИ модели
• Готовим Windows 11: установка и пользователь для доступа по сети
• Как выбрать локальную ИИ-модель под свои задачи (Ollama)
• Как расходуется видеопамять при работе модели
• Локальные ИИ-модели для офисных задач (требуемые видеокарты)
• Глоссарий: термины, сокращения и определения
• Тест по модулю 1

Ставим движок: Ollama на Windows и запускаем ИИ модель:

• Подготовка сервера с windows, контрольная точка восстановления
• Установка Ollama на Windows 11, запуск модели на видеокарте
• Команды Ollama для работы с моделями (загрузка, запуск, список)
• Modelfile: системный промпт, параметры и своя «сборка» модели
• Управление моделями и местом на жестком диске
• Замер скорости (токены/сек) и выбор рабочей квантизации
• Лабораторная работа 1 Установка Ollama, сборка своих моделей
• Тест по модулю 2

Веб-интерфейс по локальной сети к ИИ моделям: Open WebUI:

• Веб-интерфейс к ollama по локальной сети: Open WebUI
• Настройка запуска OpenWebUI и Ollama в виде служб Windows
• Лабораторная работа 2 Веб-интерфейс Open WebUI, доступ по сети
• Работа пользователей с документами через локальную ИИ модель
• Работа с изображениями: ставим vision-модель
• Как расходуется память при работе нескольких пользователей
• Несколько серверов под разные модели: маршрутизация в Open WebUI
• Свой API: OpenAI-совместимый эндпоинт Open WebUI
• Тест по модулю 3

Развёртывание ollama на Linux-сервере (Ubuntu Server 26.04):

• Подготовка диска и флешка, установка Ubuntu Server как второй ОС
• Установка Ollama на Ubuntu Server 26.04 и основные команды
• Установка Open WebUI и доступ по сети с Windows-машин
• Лабораторная работа 3 Локальный ИИ-сервер на Linux
• Тест по модулю 4

Итоги курса:

• Завершение курса