Каким образом можно определить оптимальное количество нейронов и слоев для нейронной сети?

Определение оптимального количества нейронов и слоев для нейронной сети — это одна из наиболее сложных задач в области машинного обучения и требует сочетания теоретических знаний, эмпирического подхода и экспериментов. Вот несколько шагов и рекомендаций, которые могут помочь вам в этом процессе:

### 1. Начните с базовой архитектуры
Начните с простой модели. Например:
- Один LSTM-слой с 50-100 нейронами.
  
Это даст вам отправную точку для дальнейших экспериментов. 

### 2. Используйте метод проб и ошибок
Попробуйте разные конфигурации:
- Изменяйте количество нейронов в LSTM-слое (например, от 20 до 200).
- Добавляйте дополнительные LSTM-слои (например, попробуйте один, два, три слоя).

### 3. Регуляризация
Изучите методы регуляризации, такие как `Dropout`, чтобы избежать переобучения, особенно в случае сложных архитектур.

### 4. Схема обучения
Обратите внимание на количество эпох и размер батча, так как это также может влиять на результат.

### 5. Мониторинг производительности
Используйте валидационные данные для оценки производительности модели. Записывайте значения потерь (loss) и метрики (например, MAE или RMSE) на обучающей и валидационной выборках. Это поможет вам понять, переобучается ли ваша модель или, наоборот, недообучается.

### 6. Визуализация
Постройте графики потерь и метрик, чтобы визуально оценить, как ваша модель обучается. Это поможет понять, когда вы достигли оптимальной архитектуры.

### 7. Более сложные методы
Когда ваша базовая архитектура даст вам приемлемый результат, вы можете использовать методы оптимизации гиперпараметров, такие как:
- Случайный поиск (Random Search)
- Поиск по сетке (Grid Search)
- Алгоритмы, такие как Bayesian Optimization.

### 8. Изучение литературы
Обратите внимание на существующие исследования и практические примеры, которые могут предоставить ценные идеи о том, какие архитектуры работают для задач, подобных вашей.

### 9. Используйте фреймворки
Некоторые библиотеки и инструменты, такие как Keras Tuner или Optuna, могут помочь вам автоматизировать процесс поиска оптимальных гиперпараметров.

### Заключение
Определение оптимальной архитектуры нейронной сети требует времени и экспериментов. Используйте приведенные выше шаги, чтобы улучшить свою модель, и не забывайте отслеживать результаты каждого эксперимента!

Это зависит от того что за процесс сидит в твоих 100 стеках по 4 числа. Судя по 100х4 ты пытаешься предсказать изменение курса на бирже. 
 1. Мое мнение - что для коротких интервалов это дело гиблое (совсем). 
 2. Делал лаболаторку на эту тему так что пробовал на зуб. 
 
 Если все таки хочешь попробовать - в общих чертах: 
 3. Для начала возьми от 10000 (лучше 100000) свечей (min, max, in, out) можно и val добавить для очистки совести . 
 4. найди и что-то сделай с временными дырами - просто так оставлять нельзя - сильно портит распределение данных 
 5. Разделить на train, val, test. Нормализуй. Организуй подачу данных для обучения скользящим окном шириной пусть 100 и шагом 1-10. (лучше использовать dataloader) 
 6. Для начала попробуй научить сеть предсказывать значение (лучше не следующее а через одно (+2) - если получится - будет шанс предсказать +3, +4 и т.п. 
 7. LSTM - 1-2 слоя по 5-500 нейронов,  затем 1-3 полносвязных 
 8. Начинать с архитектуры попроще - если учится (лучше чем орел/решка) - добавлять нейроны-слои (по очереди) - пока не начнет переучиваться. 
 ... 
 9.  Максимально убирай абсолютные значения - а то сеть научится "базе" и будет имитировать предсказание. (Нормализация вещь нужная но здесь не поможет)