Con una certa fatica ho capito come configurare rsync in modo che possa usare via ssh una porta non standard (22): in giro sulla rete il suggerimento comune è di utilizzare --rsh='ssh -pXXX'.

Ovviamente la versione di rsync che utilizzo utilizzando il parametro --rsh impazzisce!

Il workaround che ho individuato consiste in creare il file ~/.ssh/config e metterci dentro le seguenti righe:

Host
Port XXX