Как лучше всего разделить распознанный текст на отдельные абзацы?

Какие существуют сервисы на основе искусственного интеллекта, способные автоматически разбивать текст на абзацы для улучшения его читаемости? Я ищу инструмент, который сможет помочь мне обработать большой текст (извлеченный из видео с помощью whisper.ai) путем объединения строк и разбиения на абзацы. Применить к тексту косметические изменения, чтобы сделать его более удобочитаемым. ChatGPT имеет ограничение в 4096 символов, что мне крайне недостаточно для моих нужд.
  • 10 декабря 2023 г. 10:46
Ответы на вопрос 2
Есть несколько способов разделить текст на отдельные абзацы:

1. По разделителям абзацев: многие текстовые редакторы и обработчики текста, такие как Microsoft Word или Google Docs, автоматически разбивают текст на абзацы на основе пустых строк между ними. Вы можете просто вставить пустую строку между каждым абзацем в вашем тексте.

2. По ключевым словам или фразам: если в вашем тексте есть определенные ключевые слова или фразы, которые указывают на начало нового абзаца, вы можете использовать их в качестве разделителей. Например, вы можете искать слова "В заключение", "С другой стороны", "Кроме того" и использовать их для разделения текста на абзацы.

3. По связности и смысловой целостности: взгляните на ваш текст и определите места, где изменяется тема или начинается новая идея. Вы можете использовать эти моменты для разбиения текста на отдельные абзацы, чтобы обеспечить логическую структуру и читаемость.

Относительно сервисов на основе искусственного интеллекта, которые могут автоматически разбивать текст на абзацы, некоторые из них включают:

1. GPT-3 (ChatGPT): хотя у вас есть ограничение в 4096 символов, вы можете применить алгоритм разбиения текста на абзацы, используя методы, описанные выше, а затем передать каждый абзац отдельно для обработки ChatGPT.

2. OpenAI DALL·E: это модель генерации изображений, но вы можете использовать ее для извлечения визуальных признаков из вашего текста и использовать их в качестве разделителей для абзацев.

3. Microsoft Azure Text Analytics: это сервис, предоставляемый Microsoft Azure, который включает в себя анализ текста и разделение его на фразы или абзацы. Он использует натуральную обработку языка для выполнения таких задач.
Используйте нейросеть с большим контекстом, например gpt4-turbo (128к) или claude-1,2 (100к+ контекст у них) 
Получить доступ к ним можно например здесь: https://vsegpt.ru/
Похожие вопросы