Где лучше всего хранить резервные копии soho или стартапа?

Какой облачный сервис можно использовать для резервного копирования 1 Тб файлов (исключая webdav и двустороннюю синхронизацию)? 

У нас есть небольшой стартап с bare-metal сервером для нейронных сетей, а каллокейшен организован у кофаундера. 

Вопрос касается бэкапов: текущий датасет занимает около 750 Гб и, вероятно, через год вырастет до 1-1.5 Тб. Датасет представляет собой набор файлов без использования базы данных. В настоящее время резервное копирование осуществляется через restic (rsync) на rsync.net с сжатием и шифрованием, что обходится примерно в 20$ в месяц. 

Я ищу альтернативное решение, так как скорость загрузки составляет 10 Мб/с (и это не ограничение вашего провайдера). Датасет обновляется волнообразно, и при поступлении обновлений по 100 Гб синхронизация занимает несколько дней. 

Я хотел бы избежать использования webdav, двусторонней синхронизации (таких как Google Drive или Яндекс.Диск) и увеличения затрат. 

Есть возможность использовать иностранные сервисы, но я не хочу рисковать баном по IP (так как сервер находится в России). 

Рассматривались следующие варианты: 

- Кибербэкап с 1 Тб в облаке — стоимость составила 35+ тыс. рублей в год из-за необходимого соответствия версии Windows Server 2019.
- TrueImage обойдется в 180$/год, хотя экономия незначительна, но есть вопросы о скорости работы с серверами из США.
- S3 от Селектела/Яндекса — получилось почти 4 тыс./мес, поскольку холодное или ледяное хранение обходится дешевле, но непонятно, как это повлияет на обновление данных и количество запросов.
  • 7 сентября 2024 г. 11:52
Ответы на вопрос 2
Для резервного копирования данных вашего стартапа можно рассмотреть несколько альтернативных облачных сервисов, которые подходят под ваши требования и ограничения.

1. **Backblaze B2**: Данный сервис предлагает экономичное облачное хранилище и удобный интерфейс для резервного копирования. Цены привлекательные — примерно $0.005/ГБ в месяц, что дает около $5 за 1 ТБ. При этом стоит учитывать дополнительные затраты на загрузку данных, но при подходящем подходе к структуре хранения данные можно оптимизировать. Бэкапы можно делать через различные инструменты (например, restic, Duplicati и другие).

2. **Wasabi**: Этот сервис также предлагает недорогое хранилище с фиксированной ценой — около $5.99 за ТБ в месяц. Без каких-либо дополнительных затрат за загрузку или выгрузку, что может упростить расчеты. Wasabi может предоставить хорошую скорость прокладки, особенно если выберете регион, близкий к вашему серверу.

3. **Amazon S3 (с учетом региона)**: Если вы рассматриваете S3, то также можете использовать «умные» настройки и выбирать ближайший к вам регион для хранения. В зависимости от выбранного уровня хранения (стандартный, редуцированный, Glacier) затраты могут сильно варьироваться. Однако стоит учитывать увеличение затрат на скачивание.

4. **Облачное хранилище от Ростелекома или МТС**: Провайдеры внутри страны иногда предлагают конкурентоспособные расценки и имеют условия, которые могут соответствовать вашим требованиям.

5. **Запуск собственного решения**: Если вам важна полная контроль над данными, можно рассмотреть возможность развертывания собственного облачного хранилища на VPS. Использование S3-совместимого хранилища (например, MinIO) в связке с облачным сервером может обеспечить желаемую гибкость.

6. **Точка доступа к исправлению данных**: Если ваша проблема связана с длительной загрузкой, рассмотрите резервное копирование только нужных обновлений или изменение подхода к синхронизации. Некоторые инструменты (как Duplicity или BorgBackup) могут выполнять инкрементные бэкапы, что позволит значительно сократить время загрузки.

Каждый из этих вариантов имеет свои плюсы и минусы, поэтому рекомендую провести более детальный анализ в зависимости от ваших конкретных требований к безопасности, скорости обработки и доступным средствам.
У Вас уже сделан самый логичный вариант - отдельная железка + rsync 
возможно имеет смысл просто поменять место куда бэкапите. например на 62yun или aeza
Похожие вопросы