Публикаций: 3
Andrew Ng выложил в открытый доступ OpenWorker — десктопный AI-агент на MIT-лицензии, который принимает задачу и возвращает готовый результат, а не продолжение диалога. Работает полностью локально, поддерживает Ollama и блокирует опасные действия через встроенный risk engine.
Self-hosted LLM на дешёвом VPS — идея привлекательная, но CPU-инференс быстро расставляет приоритеты. Разбираем, когда это рабочий сценарий, а когда — компромисс ради компромисса.
Запустить локальную LLM через Ollama — просто, но за удобство платишь скоростью: на MoE-моделях llama.cpp генерирует токены в 3 раза быстрее. А стандартный квант Q4_K_M, который грузится по умолчанию везде, давно устарел.