Можно ли настроить протокол VLESS с шифрованием XTLS на Mikrotik rb5009?

Да, можно настроить протокол VLESS с шифрованием XTLS на устройствах Mikrotik, включая модель rb5009. Для этого необходимо выполнить определенные настройки на вашем роутере Mikrotik.

Что касается установки VLESS XTLS Reality на Mikrotik rb5009, то это также возможно, но требуется дополнительная настройка и установка необходимых пакетов и сертификатов. Рекомендуется ознакомиться с документацией Mikrotik и соответствующими инструкциями по настройке VLESS XTLS на данной модели роутера.

RB5009 поддерживает контейнеры 
 Можно попробовать через него

Не уверен на счет этой железки но в routerosx86_64 можно через установку docker контейнера в routeros

А что именно надо, клиент или сервер? Клиент - наврятли, что-то я не припоминаю клиентов чисто системных, все на GUI (хотя может и есть), в части сервера возможно, но настроить это все для нормальной работы - как то не попадалось. По крайней мере гуление выдает всего несколько ссылок на чьи то эксперименты. Так что считай что врятли. 
 На OpenWRT, кстати, где то была инфо что сервер поднимали.

Внутрь "основного" - только если сам Микротик распогодится его туда встроить. В качестве контейнера - можно попробовать.