но я так и не понял как мне вернуть: $modx->error->success('');
А что вернуть? Эту функцию вообще не принято самостоятельно вызывать. Она используется самим объектом $modx->error. И она не отдает какие-либо переменные собственного объекта, а возвращает обработанные параметры. К примеру можно вот так вызывать:
<?php print '<pre>'; print_r($modx->error->success('', $modx->getObject('modResource', 1)));
То есть здесь будет получен объект первого документа, но на выходе мы получим не сам объект, а массив данных этого объекта (в общем массиве ответа).
Мне кажется, вы в принципе не в том направлении роете. Изучайте стандартную конструкцию и все: gist.github.com/Fi1osof/328469331b5258ff009a
И ещё один вопрос я для того чтобы использовать такие методы как getObgect() и newObject() использую вот такой код:
Можно и так. Но в большинстве случаев правильно использовать коннекторы (которые в свою очередь уже вызывают процессоры). То, как показано у вас — это простой подход, но он не стандартизированный. Там нет стандартизированных проверок прав, форматов ответов и т.п.