Как заменить операционную систему внутри контейнера?

1. Для замены операционной системы внутри контейнера, вам нужно будет создать новый образ контейнера с новой операционной системой и установить в него необходимые зависимости и приложения.

2. Для настройки SSL сертификата для панели 3x-ui, установленной в Docker на OS Alpine Linux v3.20, вы можете вручную настроить SSL сертификат. Для этого вам нужно сгенерировать SSL сертификат с помощью утилиты openssl или других инструментов для работы с SSL сертификатами. Затем необходимо скопировать сертификат и ключ в контейнер и настроить конфигурацию панели 3x-ui для использования SSL.

Если скрипт x-ui.sh не поддерживает операционную систему Alpine Linux, вам придется самостоятельно настроить SSL сертификат, как описано выше.

Ну так и должно быть.. там собран отдельный контейнер докер. 
 настройте любой reverse-proxy на Ваш выбор

В контейнере та же ось, что и на хосте. Это не виртуализация, а изоляция, оси не отличаются. Более того, контейнер частично использует хостовые вещи.