Как обрабатывать событие onfailure при использовании функции BX.ajax?

Да, ваш подход абсолютно верный. В блоке onfailure вы проверяете, есть ли объект data и имеет ли он свойство errorCode со значением 'ORDER_ALREADY_EXISTS'. Если условие выполняется, то выводится сообщение в консоль.

function handleError(data, response) {
  console.log(response.data);
} 

 
retrieve the response data and handle any failures in a function called handleError