Беспокоюсь, что процесс удаления дубликатов потребует гораздо больше ресурсов, чем само создание резервной копии. Попробуй самостоятельно размышлять о том, какой алгоритм будет использоваться для поиска фрагментов одного файла в другом. Для этой задачи можно использовать инструмент fdupes, который я использовал для поиска дубликатов PDF-документов или дублирующихся папок в большом архиве. Однако fdupes решает более простую задачу, ищет полное совпадение всех файлов. Если ты будешь работать с дифференциальными или другими типами резервных копий, сложность задачи возрастает.