Et buddistisk refugie og jordbrugsparceller i Syddjurs Kommune er kommet i modvind.