Что могут маленькие локальные ИИ на наших компьютерах

Недавно мы с сыном затеяли небольшой домашний спор. Ставки были серьезные: сможет ли крошечная локальная модель Qwen 3.5 (4B) без моей помощи поуправлять компьютером? Задача звучала просто только на первый взгляд: открыть Мессенджер, найти в списке чатов именно сына и отправить ему хотя бы короткое приветствие. Сын отнесся к затее скептически — мол, куда этой «малышке» до полноценного владения мышкой и клавиатурой.
Тестовый стенд: только не падайте со стула
Чтобы эксперимент был максимально честным и без магии суперкомпьютеров, мы использовали скромную домашнюю связку:
- Сервер ИИ (Мозг): машина на базе 4-ядерного процессора (CPU) под управлением чистой Ubuntu и с 8 ГБ оперативной памяти на борту (по современным меркам — практически прожиточный минимум). В качестве движка выступает старая добрая Ollama, крутящая ту самую компактную Qwen 3.5 на 4 миллиарда параметров.
- Рабочая станция (Руки и глаза): обычный пользовательский ноутбук с запущенной клиентской программой-агентом. Чтобы нейросеть понимала, что вообще творится на мониторе, в дело пустили связку различных OCR-движков (оптическое распознавание текста). Они буквально «читают» экран и переводят картинку в понятные для модели координаты и текст.
Магия невидимости: защита от шпионов или борьба с эхом?
Иногда пульт управления самой программы-агента полностью отсутствует в кадре. Сразу хочу успокоить конспирологов — это не секретная разработка спецслужб и не режим стелс для защиты от вражеских шпионов, подглядывающих за моим монитором.
Шутка! На самом деле причина сугубо прагматичная: при работе OCR нам нужно избежать так называемого «цифрового эха». Если оставить окно агента видимым для захвата экрана, нейросеть начнет читать собственный интерфейс, видеть свои же логи, путаться в кнопках и пытаться кликнуть по самой себе. Чтобы ИИ не отвлекался на отражение в зеркале, я использовал штатный, но очень изящный метод из арсенала Windows API:
реклама
SetWindowDisplayAffinity(hWnd, WDA_EXCLUDEFROMCAPTURE);
Эта функция говорит системе: «Для живых глаз пользователя перед монитором окно на месте, но для любых средств захвата экрана, «скриншотеров» и записи видео его просто не существует». В итоге OCR (как, собственно, и программа записи видео с экрана) видит кристально чистый рабочий стол и мессенджер, а наш пульт управления остается невидимым призраком.
Момент истины: три шага «Мурлыки»
Запускаем систему, жмем «Старт» и замираем в ожидании. Нейросеть, получившая в системном промпте гордое имя «Мурлыка», не стала изобретать велосипед и, как и положено грамотному инженеру, разбила задачу на три четких этапа:
- Шаг 1. Запуск. Получив команду, модель сориентировалась в системе и самостоятельно открыла окно Мессенджер.
- Шаг 2. Поиск цели. Системы OCR просканировали список контактов, передали координаты в наш 4-ядерный «мозг» на Ubuntu, и через пару секунд на экране ноутбука курсор послушно метнулся в нужную область. Используя нативный Windows API, агент сымитировал клик манипулятора (мыши) ровно по нужному чату.
- Шаг 3. Контакт установлен. Финальный аккорд — нейросеть сгенерировала JSON-команду для ввода текста, без единой опечатки напечатала в строке сообщения «Привет! Как твои дела?» и нажала отправку.
Итоги эксперимента:
Миссия выполнена на сто процентов! Даже на 8 гигабайтах оперативки и без мощной дискретной видеокарты маленькая локальная модель не просто научилась «видеть» интерфейс глазами OCR, но и смогла связать картинку с логикой реальных действий в ОС.
Эпоха, когда для автоматизации рутины требовались гигантские облачные мощности, уходит. Даже компактные модели уровня 4B уже готовы стать вполне самостоятельными цифровыми помощниками на самом обычном домашнем ПК.
Лента материалов
Соблюдение Правил конференции строго обязательно!
Флуд, флейм и оффтоп преследуются по всей строгости закона!
Комментарии, содержащие оскорбления, нецензурные выражения (в т.ч. замаскированный мат), экстремистские высказывания, рекламу и спам, удаляются независимо от содержимого, а к их авторам могут применяться меры вплоть до запрета написания комментариев и, в случае написания комментария через социальные сети, жалобы в администрацию данной сети.

