Какие инструменты можно использовать для запуска больших языковых моделей локально под операционной системой Windows?

Какие инструменты существуют для решения задачи обработки естественного языка (Natural Language Processing) на локальном компьютере и с минимальной необходимостью в программировании? GPT4All - возможный вариант, но возникают проблемы с антивирусами. Есть ли другие альтернативы, не связанные с OpenAI?
  • 11 февраля 2024 г. 20:28
Ответы на вопрос 2
Для запуска больших языковых моделей локально под операционной системой Windows вы можете рассмотреть следующие инструменты и фреймворки:

1. **TensorFlow и PyTorch**: Это две популярные библиотеки машинного обучения, которые поддерживают тренировку и использование (инференс) нейросетевых моделей, включая модели обработки естественного языка (NLP). Они хорошо документированы и имеют большое сообщество пользователей. Эти библиотеки требуют знания Python и основ машинного обучения.

   - **Transformers (Hugging Face)**: Библиотека Transformers от Hugging Face предоставляет предобученные модели, такие как BERT, GPT-2 и др., которые можно легко использовать для различных задач NLP без необходимости предварительного обучения моделей. Библиотека также поддерживает TensorFlow и PyTorch.

2. **ML.NET**: Это фреймворк от Microsoft, который позволяет использовать машинное обучение в .NET-приложениях. Он включает поддержку некоторых задач NLP и может быть использован для построения и развертывания моделей на языках C# или F# без большого количества кода или глубокого погружения в теорию машинного обучения.

3. **KNIME**: Это открытая аналитическая платформа, которая позволяет проектировать рабочие процессы данных и машинного обучения без необходимости программирования. KNIME содержит различные компоненты для выполнения задач NLP.

4. **RapidMiner**: Это программное обеспечение для анализа данных, предоставляющее пользовательский интерфейс для визуального программирования, а также модули для обработки естественного языка.

Для простоты использования и минимизации программирования, вы можете рассмотреть:

- **Pre-built applications**: Поищите готовые приложения для анализа текста, которые не требуют программирования. Некоторые могут быть интегрированы как десктопные приложения.

- **Drag-and-drop tools**: Инструменты с графическим интерфейсом (например, Microsoft Azure Machine Learning Studio), которые позволяют создавать модели машинного обучения через перетаскивание, без написания кода.

- **No-code AI platforms**: Платформы, такие как Google AutoML Natural Language, позволяют тренировать модели NLP без программирования, но для их использования потребуется доступ в интернет.

Как альтернативы, вы могли бы рассмотреть GPT-J и GPT-NeoX (модели, подобные GPT-3, но разработанные сообществом и доступные для бесплатного использования) и запускать их локально, следуя инструкциям их установки и использования.

Стоит отметить, что большие языковые модели требуют значительных вычислительных ресурсов (особенно видеокарт), и не каждый локальный компьютер будет способен эффективно обрабатывать такие модели. Вентиляторные обновления и антивирусное ПО могут блокировать некоторые операции, связанные с этими инструментами
gpt4all это запускалка и менеджер моделей. 
Локально, на машинах без gpu или со слабыми, объем памяти которых недостаточен, используют ggerganov llama.cpp, который уже стал мощным монстром с собственным http api сервером. Используй его напрямую.
Похожие вопросы