Че по моделям?
Че по моделям?
Хочу верить, что хоть кто то из вас, после прочтения моих постов, захотел завести себе зверька под названием OpenClaw. А чтобы немного вас к этому сподвигнуть, я пошарю пару лайфхаков как настроить себе Openclaw бесплатно, без смс и регистрации. Ну не совсем без смс, тут спиздел малость 😄
В конфиге опенкло можно указывать основную модель и фоллбеки. Получается ранжирование, от предпочитаемых, ко всякому шлаку. Я жлоблюсь платить бабки за инструмент, пользу которого для себя еще выясняю. Посему, я нарыл пару вариантов как жить с ним условно бесплатно
Вариант первый - жить локально. Думаете вам нужно ахуеть какое железо для этого? Если вам ок ответы по 2-5 мин, то нет, не нужно. А это как раз мой сценарий. Я с ним не чатится пришел, я ему задачу дал и пусть в фоне там обрабатывает. Если вы того же мнения, то давайте разбираться что у нас есть в арсенале
Для начала, надо бы чекнуть какую модель потянет ваш пк. Ну или выделенный сервер, мак мини, старяй сяоми или где вы там решили крутить это дерьмо. Можно заполнить всякие формочки в интернете и получить список моделек, но чет это... ну неудобно это. Я же нашел прекрасный проект на гитхабе - https://github.com/Pavelevich/llm-checker. Поставил, запустил через
Как поставить модель локально? У вас есть как минимум 2 варианта.
Если вам ок терминал, то есть ollama - cli для управления моделями, делаете просто
Если вам нужен интерфейс, есть LMStduio. Там тоже дофига моделей доступно, выбирайте какую хотите, качайте, добавляйте в опенкло (как это сделать)
Хватает ли этого? Пока что для моих задач хватало. Да, на облаке пизже. Да, отвечает долго. Да, в игрушки не шибко поиграешь пока модель трудится. Но это совсем уж бесплатно и ваши данные никуда не утекают (если вы боитесь за свою папку на 100ТБ)
В следующем посте разберу вариант с облаком, для тех кто с картошки сидит ➡️
Хочу верить, что хоть кто то из вас, после прочтения моих постов, захотел завести себе зверька под названием OpenClaw. А чтобы немного вас к этому сподвигнуть, я пошарю пару лайфхаков как настроить себе Openclaw бесплатно, без смс и регистрации. Ну не совсем без смс, тут спиздел малость 😄
В конфиге опенкло можно указывать основную модель и фоллбеки. Получается ранжирование, от предпочитаемых, ко всякому шлаку. Я жлоблюсь платить бабки за инструмент, пользу которого для себя еще выясняю. Посему, я нарыл пару вариантов как жить с ним условно бесплатно
Вариант первый - жить локально. Думаете вам нужно ахуеть какое железо для этого? Если вам ок ответы по 2-5 мин, то нет, не нужно. А это как раз мой сценарий. Я с ним не чатится пришел, я ему задачу дал и пусть в фоне там обрабатывает. Если вы того же мнения, то давайте разбираться что у нас есть в арсенале
Для начала, надо бы чекнуть какую модель потянет ваш пк. Ну или выделенный сервер, мак мини, старяй сяоми или где вы там решили крутить это дерьмо. Можно заполнить всякие формочки в интернете и получить список моделек, но чет это... ну неудобно это. Я же нашел прекрасный проект на гитхабе - https://github.com/Pavelevich/llm-checker. Поставил, запустил через
llm-checker recommend, взял че тебе надо. Сказка-песня, рекомендую. Приложил скрин че он мне выдал, у меня 4060 и 32 гига оперативыКак поставить модель локально? У вас есть как минимум 2 варианта.
Если вам ок терминал, то есть ollama - cli для управления моделями, делаете просто
ollama pull нужная_модель, ждете пока скачается и все. Ну в конфиг опенкло добавить не забудьте. Если вам нужен интерфейс, есть LMStduio. Там тоже дофига моделей доступно, выбирайте какую хотите, качайте, добавляйте в опенкло (как это сделать)
Хватает ли этого? Пока что для моих задач хватало. Да, на облаке пизже. Да, отвечает долго. Да, в игрушки не шибко поиграешь пока модель трудится. Но это совсем уж бесплатно и ваши данные никуда не утекают (если вы боитесь за свою папку на 100ТБ)
В следующем посте разберу вариант с облаком, для тех кто с картошки сидит ➡️
Хотите больше таких постов?
Подпишитесь на канал и читайте продолжение в Telegram.