Автоматический выбор системнго промпта в lm-studio

Я продолжаю делать из lm-studio универсального агента на все случаи жизни, и в этот раз я автоматизировал выбор системного промпта под запрос пользователя.

Зачем нужен системный промпт?

Системный промпт очень важен для нейронок, а для маленьких локальных нейронок он важен вдвойне:

• Он задаёт последовательность действий, который нужно выполнить нейронке, чтобы ответить на вопрос
• Задаёт критерии успешности/неуспешности ответа
• Задёт общий тон общения
• Указывает какие инструменты нужно/можно использовать
• А ещё именно в lm-studio, системный промпт это не просто текст, а пресет с настройками, в которых можно оттюнить саму нейронку

Проблема в том, что нельзя написать универсальный промпт на все случаи жизни. Сейчс у меня их 5 штук, но, похоже, что через пол года их уже будет пара десятков.

И так как я скотина ленивая, я решил, что пусть нейронка сама себе выбирает подходящий пресет.

Плагин для lm-studio для автовыбора системного промпта/пресета

Установить можно с официального сайта lm-studio https://lmstudio.ai/ololoev666/system-prompt-autoselector

Его алгоритм работы:

• Юзер вводит первый запрос в чате
• Плагин перехватывает сообщение, загружает список системных персетов из ~/.lmstudio/config-presets
• Передаёт заголовки этих пресетов в ту же самую локальную нейронку, через которую юзер делал запрос и просит подобрать наиболее подходящий
• Получает ответ, подставляет выбраный пресет и в чатике показывает статус, какой именно пресет она выбрала
• Далее управление передаётся назад и обработка ответа идёт обычным путём

Если подходящий пресет не найден, то используется текущий, выбраный юзером.

Необходимая подготовка к использованию плагина

Так как нейронке передаются только названия пресетов, важно их сделать подробными: не "ревью", а "локальное код-ревью", или "удалённое git & jira ревью", или "ревью документации" итд.

Короче, надо дать максимум инфы, чтобы нейронка могла качественно сделать выбор.

Возможная проблема на windows

Так как я linux пользователь, тестировал я это на линупсе. На маке должно работать тоже без проблем, потму, что фаловые системы устроены сходно.

Но на windows я не уверен, что lm-studio хранит пресеты в той же папке ~/.lmstudio/config-presets

Если у вас на windows оно не увидит пресеты, то напишите мне, буду искать где-то винду чтобы тестануть.