Применяются ли решения, основанные на технологиях OpenAI, в промышленных системах на российском рынке?

Какие механизмы или стратегии можно использовать для уменьшения санкционных рисков при использовании решений от OPEN AI в больших промышленных проектах для российского рынка? Имеется ли опыт использования данных решений в таких проектах, и как эффективно справляться с возможными проблемами, такими как отключение токена и прекращение работы решения?
  • 31 июля 2024 г. 11:33
Ответы на вопрос 2
На данный момент в России практически не используются решения, основанные на технологиях OpenAI в промышленных системах, поскольку эта компания является зарубежной и может быть подвержена санкциям. Однако, в будущем возможно применение подобных решений при условии выполнения всех необходимых юридических условий.

Для уменьшения санкционных рисков при использовании решений OpenAI в России необходимо следовать всем законодательным требованиям и получить все необходимые разрешения и лицензии от соответствующих органов власти. Также рекомендуется учесть возможность прекращения работы решения в случае нарушения санкций.

Возможные проблемы, такие как отключение токена и прекращение работы решения, могут быть решены путем резервирования нескольких источников данных и использования альтернативных методов для работы системы при отключении основного токена. Также важно иметь план аварийного восстановления и поддержку со стороны разработчиков, чтобы быстро реагировать на любые проблемы.
Советую посмотреть на OpenwebUI , у нее есть openAI-совместимое апи, поэтому встроить ее в существующее приложение не составит труда, также под капотом у нее ollama с сотянми различных моделей. Я советую взять Llama 3.1 8b , запустить это все на своем железе желательно с видюхой не ниже 3090TI. 

В таком случае вы застрахуете себя от всех рисков. А качество генерации будет сравнимо с GPT3.5 от OpenAI

Мы в нашей компании именно так и сделали
Похожие вопросы