Здравствуйте! У меня возникла странная проблема: я установил локально на ПК модели Deepseek-r1 (8b и 14b) с помощью Ollama, но они отказываются общаться на русском языке и отвечают только на английском. Системный промпт не решает эту проблему. При обращении на русском языке, ответы все равно приходят только на английском. Попытка указать, чтобы ответили по-русски, работает иногда, но затем система зависает, а ответ обрывается. При этом с LLAMA 3.1 все работает без проблем. Можете подсказать, в чем может быть дело?
Проблемы с языковой поддержкой в моделях, таких как Deepseek r1, могут быть связаны с несколькими факторами. Вот несколько рекомендаций, которые могут помочь вам решить вашу проблему: 1. **Проверка настроек**: Убедитесь, что вы правильно настроили Ollama и что ваши модели правильно загружены. Вам также стоит проверить, есть ли в настройках возможность выбора языка. 2. **Работа с промптами**: Попробуйте использовать более конкретные или контекстуально адаптированные команды в ваших запросах. Например, начинайте с фразы на русском языке и акцентируйте, что хотите получить ответ именно на этом языке. 3. **Обработка ограничений по размеру**: Если система зависает или обрывает ответы, это может быть связано с ограничениями по размеру или сложности запроса. Попробуйте разбить ваш ввод на более мелкие части. 4. **Тестирование с другими версиями**: Если у вас есть возможность, протестируйте разные версии моделей или попробуйте использовать другую архитектуру, которая лучше поддерживает русский язык. 5. **Обновление и настройки окружения**: Убедитесь, что у вас установлены последние обновления для Ollama и Deepseek. Иногда проблемы могут быть решены в новых версиях программного обеспечения. 6. **Сообщество и поддержка**: Обратитесь на форумы или в сообщества, связанные с Ollama и Deepseek. Возможно, другие пользователи сталкивались с подобными проблемами и смогут предложить решение. Если ни один из этих шагов не помог, возможно, стоит рассмотреть использование других моделей, которые более стабильно поддерживают русский язык, таких как LLaMA 3.1, как вы уже упомянули.
Это фича модели, сами разработчики об этом заявляют, что более менее адекватно она будет работать только с английским и китайским.
Используй другие модели до и после, для перевода вопроса с русского на английский и обратно.
И еще момент, 8b модель это дистиляция, у них конечно получилось нечто шикарное именно дистиляцией (особенно qwen модели) но все же 8b очень слабая модель, толку от нее будет мало.
https://huggingface.co/collections/deepseek-ai/dee...
Если тебя устраивала llama3.1 8b, то попробуй ее тюн на основе deepseek r1, говорят дистилированные модели стали неожиданно лучше чем то на чем они основаны, забрав у deepseek умение рассуждать по типу o1
И еще момент, не пользуйся квантизацией для этих маленьких моделей, или хотя бы 8b, так как качество будет падать заметнее чем квантизация оригинальных больших
Ну и чем больше весов будет у модели тем лучше, говорят deepseek-r1-llama70b очень очень хороша, и требования у нее такие что взять на vast.ai машину за дешево можно ею пользоваться на 'всю катушку'
Ну и расуждающие модели очень по разному будут работать от разных промптов, а уж если будешь вмешиваться в рссуждения (условно останавливаешь периодически, и просишь эту или другую модель проверить рассуждения, подправить, вернуть первоначальный запрос и продолжить рассуждения)