Как можно корректно преобразовать данные, чтобы они соответствовали нормальному распределению?

Для преобразования данных к нормальному распределению можно использовать различные методы, такие как логарифмическое, квадратный корень или бокс-кокс преобразование. Бокс-кокс преобразование является одним из наиболее популярных методов, которое может корректировать не только смещение и облик, но и кривизну распределения данных.

Максимальное значение в столбце 'page_activity_duration' может увеличиваться до 2000 после применения QuantileTransformer из-за преобразования данных с использованием ранковых перцентилей. Это означает, что значения входных данных масштабируются таким образом, чтобы иметь равномерное распределение в пределах заданных процентилей.

Появление пропущенных значений в середине столбца после применения QuantileTransformer может быть следствием подстройки данных к новому распределению. Поскольку метод работает на основе ранковых перцентилей, может произойти смещение входных данных, что может привести к созданию пропущенных значений в диапазоне.

Попробуй разные трансформеры данных, такие как Power Transformer, Box-Cox и Yeo-Johnson. После применения каждого трансформера, визуализируй распределение данных до и после. Убедись, что код для визуализации работает правильно. Если нужны подробности, посмотри этот kaggle notebook, который содержит разбор разных трансформеров и отличную визуализацию. Там используются QQ-графики из statsmodels и KDE. Я очень рекомендую прочитать этот notebook и попробовать его на своих данных.