Какие методы можно использовать для ускорения загрузки данных в хранилище S3?

Question

BlazeBandit

python , fastapi

Какие методы можно использовать для ускорения загрузки данных в хранилище S3?

Я использую комбинацию Python, FastAPI и aiobotocore для загрузки файлов в S3 хранилище. У меня есть роутер, который отвечает за отправку файла в хранилище. Вот сокращенный код этого роутера: 

```python
@upload_router.post('')
async def upload_file(
        request: Request, 
        file: Annotated[UploadFile, File()], 
        user_service: Annotated[UserService, Depends(get_user_service)], 
        file_service: Annotated[FileService, Depends(get_file_service)],
        session: Annotated[AsyncSession, Depends(get_async_session)],
    ):
 
    await s3_client.upload_file(file.file, f'{unique_filename}_{file.filename}')
```

А вот код, который реализует саму логику загрузки:

```python
async def upload_file( self, file_path: bytes, file_name: str):
    try:
        async with self.get_client() as client:
            await client.put_object(
                Bucket=self.bucket_name,
                Key=file_name,
                Body=file_path,
            )
    except ClientError:
        raise ClientError
```

Примечание: файл размером 20 МБ загружается за 8 секунд. Как можно улучшить время загрузки?

16 сентября 2024 г. 6:53

Ответы на вопрос 2

Похожие вопросы

Answer 1

Ускорение загрузки данных в Amazon S3 можно достичь несколькими способами. Вот некоторые методы, которые могут помочь улучшить время загрузки:

### 1. Параллельная загрузка файлов:
Если вы загружаете несколько файлов одновременно, вы можете увеличить скорость загрузки, выполняя параллельные запросы к S3. С помощью `asyncio.gather` вы можете запустить несколько загрузок одновременно.

### 2. Используйте `multipart upload`:
Для загруженных файлов размером более 5 МБ S3 поддерживает многочастичную загрузку. Это позволяет разбивать файл на части, загружать их параллельно, а затем объединять их на стороне S3. Это может значительно ускорить загрузку больших файлов.

Пример многопоточности загрузки:
```python
async def upload_file(self, file_path: bytes, file_name: str):
    try:
        async with self.get_client() as client:
            parts = []
            file_size = len(file_path)
            part_size = 5 * 1024 * 1024  # 5MB
            num_parts = (file_size + part_size - 1) // part_size
            
            # Start multipart upload
            response = await client.create_multipart_upload(Bucket=self.bucket_name, Key=file_name)
            upload_id = response['UploadId']

            # Create and push parts
            for i in range(num_parts):
                part_data = file_path[i * part_size:(i + 1) * part_size]
                part_response = await client.upload_part(
                    Bucket=self.bucket_name,
                    Key=file_name,
                    PartNumber=i + 1,
                    UploadId=upload_id,
                    Body=part_data,
                )
                parts.append({'ETag': part_response['ETag'], 'PartNumber': i + 1})

            # Complete multipart upload
            await client.complete_multipart_upload(
                Bucket=self.bucket_name,
                Key=file_name,
                UploadId=upload_id,
                MultipartUpload={'Parts': parts},
            )
    except ClientError:
        await client.abort_multipart_upload(Bucket=self.bucket_name, Key=file_name, UploadId=upload_id)
        raise
```

### 3. Увеличьте размер пакета данных:
Попробуйте увеличить размер, передаваемый в каждом запросе. Это может уменьшить накладные расходы на количество запросов, необходимых для загрузки.

### 4. Используйте VPC Endpoint:
Если ваше приложение развернуто в AWS, рассмотрите возможность использования VPC Endpoint для S3. Это обеспечит более высокую скорость передачи данных, поскольку трафик не будет выходить в интернет.

### 5. Используйте CDN:
Если контент часто запрашивается, подумайте о настройке CloudFront в качестве CDN, что может снизить нагрузку на S3 и ускорить доступ для пользователей.

### 6. Профилирование:
Проверяйте время выполнения каждого из этапов процессы загрузки (например, открытие соединения, отправка данных), чтобы оптимизировать именно проблемные места в коде.

### 7. Оптимизация сетевой инфраструктуры:
Убедитесь, что у вас стабильная и быстрая сеть. Иногда проблемы с сетью могут влиять на скорость загрузки.

Применяя вышеописанные методы, вы можете значительно повысить производительность загрузки ваших данных в S3.

Answer 2

открыть гугл и вбить туда "s3 upload speed up" 
 ну и реализаций S3 множество, открывай справочник конкретной и читай, либо спрашивай службу поддержки