Для установки jQuery datepicker поверх модального диалогового окна, вам нужно установить z-index для datepicker выше, чем у модального окна.
Для этого вам нужно использовать CSS и установить z-index для datepicker. Например:
```
.ui-datepicker {
z-index: 1000; /* или любое другое значение выше, чем у модального окна */
}
```
Также, вы можете использовать опцию `beforeShow` datepicker для изменения местоположения datepicker при открытии dialoog'а через кнопку. Например:
```javascript
$("#datepicker").datepicker({
beforeShow: function(input, inst) {
inst.dpDiv.css({
top: $("#dialog").offset().top + $("#dialog").height() + "px",
left: $("#dialog").offset().left + "px"
});
}
});
```
Этот код поместит datepicker непосредственно под модальным окном при открытии dialoog'а.
Надеюсь, это поможет вам достигнуть нужного эффекта!