万曆三十六年，大师计划修建曹溪大殿，化缘金，运木材，都亲自奔波。
第二年二月，大师从端州运木材回来，被大风阻在羚羊峡。这时大师漫游端溪，写了一篇《梦游端溪记》。木材运到蒙江，大师先入山，正想召集僧众搬运木材时，不料有几个奸僧被奸商所动，出来反对大师，造谣说大师侵吞了常住，并鼓动大众反对大师，寺内一片喧哗。大师看到这情况，心中歎息说：「这都是我重建佛教，太着相的过错啊!」
正当大众溷乱时，大师独坐在堂上，焚香诵《金刚经》，诵到佛说四见即非四见时，忽然大悟，即下笔写了一篇《金刚决疑》。稿成时，大众也寂锋了，但这几个奸僧却上告到按院，按院准其辩明是非。
大师飘然出门到按院听理，但困在芙蓉江病了二年，到了第三年七月才到郡县。这时「直指按部」也到郡访大师，因司理听信奸僧的诬告，欲加罪于大师，「直指按部」出来反驳说：「大师大有功于六祖，他捨去了自己的一切来振兴祖庭，现在奸僧反而得利，这难道是平等法门吗?」司理只得下放本府严究。本府到了曹溪，调查了实际情况，瞭解到大师对常住财物丝毫无犯，本府重怒奸僧，要不是大师的解救，难免一死。
本府见大师如此高洁，再三请大师留住山中，但大师对修建丛林之事已生厌倦，因此力辞。大师把禅堂交付弟子怀遇掌管之后，自己一人飘然长往了。
大师离曹溪时有付弟子诗十绝，录三首如下：
福田种子要深栽，
因果如临明镜台。
亲到宝山千万次，
这回不可又空回。
功德园林不可轻，
脚跟步步要分明。
莫教错落随他去，
免使盲人又夜行。
少小能存向上心，
毫芒终长到千寻。
只须历尽冰霜苦，
姑得成材出郭林。
大师到南岳时有留给岭南弟子诗十绝，录四首如下：
底事分明在己躬，
不须向外问穷通。
但能触处回光照，
莫被尘劳困主公。
大道从来绝本真，
多因分别强疏亲。
直须看破娘生面，
方是尘中特达人。
尘劳浪迹久和光，
只为拈提此事忙。
千尺钓竿几斫尽，
海天回首更茫茫。
为法甯辞道路赊?
空云瘴海是天涯。
频将一点曹溪水，
灌溉西来五叶花。
