大师从小爱学习，13岁时，就跟随舅父到许昌洛阳一带游访参学。由于大师博学六经，融汇贯通，尤其精通老庄之学，因而儒门宗匠，达官显贵，没有不佩服大师的。21岁那年，大师本想南渡长江，拜当时的大学问家范宁为师，不料正赶上石虎暴死，天下大乱，去南方的路阻塞不通，大师求学之志未能如愿。当时有一佛门大德释道安，在太恒山上建刹立寺，于像法时代弘扬佛法，声名远扬。大师有一胞弟，出家后法名慧持，从小沉默寡言，而胸襟远大，那年他18岁。于是兄弟二人改南下的志愿为北上，到受都寺，进入了到岸法师的门墙。在听闻道安法师讲解《般若经》之后，大师豁然开悟，感叹道：“九流门派不同，学说众多，今日方知都是糠皮和秕子。”于是大师和胞弟，取下发簪，削发为僧，在道安法师坐下，归命于佛门。
既然有幸得闻大道，大师严肃认真的学风与众不同。常常想着，以弘扬大法为己任，因为精勤思维，读诵，受持，夜以继日。因为家穷，出门所带的钱财有限，山中又供养不足，常常缺被少衣，而兄弟二人谨慎恭敬，从不懈怠。有一僧人昙翼，经常资助他们。道安法师赞叹说：“昙翼确是知人善助。”
24岁时，大师就开始讲经说法。曾经有一位居士，在听讲时，提出对“实相”的疑义。大师与他凡夫讨论，不能明白。大师于是引用庄子的学说相比类，使那个疑惑的人顿时晓然。从此以后，道安法师特地允许大师读世俗的书。道安法师另有弟子法遇和昙徽，作风才干光照四方，志愿言行清彻敏捷，对于大师都非常佩服。
当时正是东晋时期，中原动乱，如水沸腾。大师随从道安法师不得已迁流于他方。到新野时，为躲避乱兵，道安法师不得已迁流于他方。到新野时，为躲避乱兵，道安法师让大家疏散，各自找寻修行场所。临上路前，道安法师对各位弟子都谆谆教诲，唯独对大师没有一句赠言。大师跪请于师前说：“师父对他们都有训诲唯独对我没有训导，勉励，莫非是弟子不堪教训吗？”道安法师说：“对你，我还有什么可忧虑的呢。”于是道安法师与弟子道理等人上长安，大师及慧持，昙邕去荆州，在上明寺留居5年。因想起与慧永通往罗浮的约定，大师又沿着扬子江南下。经过浔阳，见庐山幽雅清净，正可安心修道，谁想却与慧永不期而遇。
原来在太元年间，会用路过浔阳，被善信陶翻留住，并为他在庐山建造西林寺。他听说大师也到了庐山，极力挽留，邀请同住庐山，共修道业。大师看了山形地势，走到庐山东麓，用锡杖拄在地上说：“如果此处可以居住，当从土中喷出泉水。”山泉果然应手而出，涌流直下而成为小溪。大师便砍伐茅竹，建庵居住，命名为龙泉寺。这年证实东晋太元9年，大师51岁。
大师德业馨香，流布四方，追随大师的人也日益众多。大师为众人开讲《涅槃经》，感应山地，当时慧永对前来礼拜的江州刺史桓伊说：“远公正当弘扬大道，如今徒属众多，而四方闻名而来的仍然不断。贫僧所居住的西林寺，地方太小，住不下这许多人，怎么办呢？”桓伊听说山神的事后，对大师产生敬仰之心，上书朝廷批准建造了东林寺，命名大殿为神运殿。这年大师53岁。于是造西方三圣像，开凿水池，种植莲华，并在水面上造立十二叶莲华钟，指针随波而转，指示时刻，方便修道。四方息歇狂心的出家僧侣，超尘绝俗的在家善信，闻风而至的共计123人。大家选定斋日，共结莲社，又令刘遗民作《发愿文》，刻石立碑。从此昼夜六时，念佛行道，一意西方净土。
当时王乔之等几人，作《念佛三昧诗》以明志。大师为此作序如下：“夫称三昧者何？专思寂想之谓也。思专，则志一不分；想寂，则气虚神朗。气虚，则智悟其照；神朗，则无幽不彻。是二者，自然之玄符，会一而致用也。又诸三昧。其名甚众。功高易进，念佛为先。何者？穷玄极寂，尊号如来；体神合变，应不以方。故令入斯定者，昧然忘知，即所缘以成鉴。鉴明，则内照交映，而万象生焉。非耳目之所暨，而闻见行焉。于是灵相湛一，清明自然，元音叩心，滞情融朗。非天下之至妙，孰能于此哉！所以奉法诸贤，咸思一揆（音魁，掌管，道理）之契。感寸音之将颓，惧来储之为积，洗心法堂，整襟清向，夜分忘寝，夙兴唯勤。庶夫贞诣之功以通三乘之志。仰援超步，拔茅之兴。俯引弱进，乘策其后。以此览众篇之挥翰，岂徒文詠而已哉！
大师自从进入庐山以来，共计32年，从不出山。凡送客都以虎溪为界。虎溪源于上方峰顶。大师与莲社到有经常在峰顶上游憩，只是苦于水源太远。一天，有人看见老虎在山顶上跑石，从此就水流不断。人们因而把它叫虎跑泉，虎溪。大师曾亲送陶渊明，陆修静二人，因时遇知己，话语相投，不知不觉过了虎溪，三人相视大笑。后世因而有一幅名画，叫虎溪三笑图。
大师神情严肃恭敬，仪容方正有威严，凡是头一次见到大师的人，没有不心惊胆战的。曾经有一位僧人，手持一个竹制如意，想要奉献于大师。进山住了一夜，竟然不敢呈献，悄悄地留在大师座角而去。还有以为慧义法师，性情刚强，从不知惧怕。在拜访大师临上山前，对弟子慧宝说：“以前那些拜见远公的人都不过是庸才罢了，所以才望风推服，你们今天看我的。”上山后，正逢大师讲《妙法莲华经》，慧义师几次想质问，都战战兢兢，汗流浃背，竟然问不出口。出山后他对慧宝说：“远公真令人惊讶，他降伏万法，卓超大众，原来是这样的。”
当世大文豪殷仲堪担任荆州刺史，上任时路过庐山，专程上山礼敬，与大师一同到庐山北涧迎客松下，二人共谈《易经》，探求大道，整整一天，不知疲倦。殷仲堪感叹地说：“大师智慧深明，实在是难以比量！”大师也对他说：“使君的才辩，就好比山中的流泉。”后人因而把这个地方叫做聪明泉。后来桓玄征讨殷仲堪，大军路过庐山，桓玄邀请大师出虎溪相见，大师以老人说：“以前殷仲堪进山礼敬远公，您就别礼敬他了。”桓玄答道：“岂有不礼敬之理，殷仲堪不过是个死人罢了。”等到见到大师，桓玄不自觉的屈膝礼敬。桓玄请问大师：“圣人说，父母遗赐的身体不应毁伤，为何您却削去头发？”大师答道：“为的是立身行道”。桓玄只得说对。桓玄本来还有几个问题想质问大师，却不敢再开口，只得说说征讨之事，大师不作回答。桓玄又问大师有何心愿，大师说：“愿施主安稳，愿殷仲堪也安稳无事。”桓玄出山后对于手下人说：“远公真实平生所未见。”
桓玄后来以挟天子以令诸侯时威势，苦苦逼请大师出山入朝，致信于大师，劝令作官。大师回信言辞正大坚定，志向牢不可拔，超逾丹石，桓玄终究没有请动大师。接着桓玄又欲淘汰众僧，教令还俗。他对手下官僚说：“出家人能够讲解经文、阐述义理的，能够遵循戒律、有秩序的，能够宣扬荷担大法的，可以留下。于此相违背的，全部还俗。唯有庐山是道德之人所居，不在搜减之列”。大师为此专门致书于桓玄，讲述我佛玄妙的戒律条文，及如何遵照执行，桓玄都一一听从。
成帝年幼的时候，由庾冰辅政，认为出家人应当礼拜帝王，而尚书令何充，仆射褚翌、诸葛恢等，向皇帝报告不应礼拜。朝廷大臣都赞同何充的意见、可是门下省却按照庾冰的指令予以驳回。议论纷纷，难以决定。等到桓玄到姑苏后，与庾冰的意见一样，欲令出家人礼拜帝王，并致书于大师。大师回信说：“袈裟并非朝堂之衣服，钵盂也不是庙廊的器物，出家是尘外之客，不应礼拜帝王。”于是著《出家人不应礼拜帝王论》5篇。桓玄开始时非常固执，读了大师的书信后，就改变了注意。后来桓玄篡位为帝，刘裕起兵讨伐，桓玄向西逃奔，东晋安帝司马德宗从江陵回驾京师，路过庐山。辅国大臣何无忌劝大师迎接皇帝车驾，大师仍以老病为由不下山。安帝派遣使臣慰问大师，大师上书致谢并申明老病，安帝又下诏慰问作答。
庐循占据江州城时，进山拜访大师。大师因与他的父亲少年时同为书生，所以见到庐循后，十分高兴地谈论往事，从早晨到傍晚。有的僧人提醒大师说：“庐循是国家的贼寇，和他交往友好，不怕别人起疑吗？”大师说：“我佛法中，无取无舍。有智之人自然能觉察到这一点，不值得害怕。”等到宋武征讨庐循时，他手下有人说：“远公一直在庐山，与庐循相交很厚。”宋武说：“远公是一世楷模，肯定对谁都不分彼此。”因而派遣使者，驰马送书向大师致敬，并留下银钱米面。至此，大家方才叹服大师的高明远见。
大师因为江东经藏极缺，便派遣弟子翻越葱岭，购清梵文原本，并广传关中。此后经律出自庐山将近百卷。大师曾著《法性论》14篇，法名佛陀泥洹常住之旨。与大师同时代的汉传佛教大翻译家鸠摩罗什大师，见到文章后感叹的说：“远方的边地，没有见过佛陀大经，却能如此与经文暗合道妙。佛经说，末代东方有护法菩萨，正是这位值得尊敬的仁者啊！”所以后世佛门弟子，都尊称大师为东方护法菩萨。
大师自入庐山以来，共计32年，足迹不入尘世。专志于西方净土，以澄净之心，观想极了世界依正庄严之境。开始11年间，共有三次见到阿弥陀佛，而深沉厚道，不与人言。到义熙12年7月30日傍晚，大师在般若台东龛，刚刚出定，就见阿弥陀佛身满虚空，圆光之中，有诸化佛，观音、势至左右侍立。又见水流光明，分十四支，流注上下，演说苦、空、无常、无我之音，如《十六观经》所说。佛对大师说：“我以本愿力故，来慰告汝，汝后七日，当生我国。”又见莲社中先已往生的佛陀耶舍、慧持、慧永、刘遗民等，都在佛的两侧，上前与大师作揖，对大师说：“师父发愿在我们之前，来西方却为何这么迟。”
大师对弟子法净、慧宝说：“我从开始居住在庐山，前11年中三见佛相。今天又见到，我往生西方必定无疑了。”又说：“七日为期不算急，迫。”于是卧床实现疾病，并亲自起草遗嘱如下：
“吾昔以知命之年，托业此山，自审有毕尽之期，便欲绝迹外缘，以求其志，良由性弱于断，遂令同趣相引，时贤过眷，情以类感，不觉形与运颓，今年已八十三矣！仰寻远离之诲，俯慨自负之心，徒令此生虚谢，以悼往疾之深，于今时到，露骸松林之下，即岭为坟，与土木同状，此乃古今之礼，汝等勿违，苟神理不昧，庶还其诚，大哀世尊，亦当佑之以道。”
弟子们恸哭不停，犹如父母过世。大师知道他们世情难以割舍，只得允许七日致哀，到期将随缘入灭。年对大的弟子，请大师用豆豉酒治病，大师说：“戒律没有明文可以通融。”不同意。又请大师饮用米汁，大师说：“日已过午”，也不同意。最后用蜜水请大师饮用，大师就让他们查阅律文。没到一半，大师就溘然而逝。留下遗嘱，让弟子们将尸骨暴露存放于松林树下，以岭为坟。就象树木倒下一样，自然风化为土。弟子们不忍心如此，未能遵照大师的遗命。而与浔阳太守阮侃一道，将大师遗体葬于西岭，并砌石为塔。这年大师83岁。大文学家谢灵运，为大师作文纪念并立塔碑下。
