В каких других сферах ИТ я могу получить специализацию?

Существует множество других сфер в области информационных технологий, в которых можно получить специализацию, такие как:
1. Системное администрирование
2. Сетевые технологии
3. Информационная безопасность
4. Big Data и аналитика данных
5. Искусственный интеллект и машинное обучение
6. Веб-дизайн и веб-разработка
7. Киберспорт и e-спорт
8. Интернет вещей (IoT)
9. Облачные технологии
10. Информационные системы для здравоохранения, финансов и других отраслей.

Чтобы найти свою сферу в ИТ, после неудачных попыток в программировании и разработке, важно попробовать разные области и проекты, общаться с профессионалами различных специализаций, проходить курсы и тренинги по разным направлениям. Также можно обратиться к карьерному консультанту или ментору, чтобы получить рекомендации и поддержку в выборе подходящей специализации в ИТ. Важно быть открытым к новым возможностям и не переставать учиться и развиваться.

Из рассказа, складывается ощущение, что ты бросал все, когда просто становилось труднее и нужно было начинать копать глубже. Уверен, что дело именно в направлениях?)

судя по всему - никакое. 
 возможно Вам стоит выбрать профессию, в которой за Вас уже подумали - 
 менеджер 
 военный 
 продавец 
 бухгалтер

Никакое. 
 Иди в сферы не связанные с IT. Бизнес-аналитик, например.