方山洞玄观始建于东吴赤乌二年（公元239年），是东吴开国皇帝孙权敕建的皇家道院，是中国道教的发源地，在中国道教史上有着极其重要的地位，相传为葛玄白日飞升之处。

东晋时，有郑隐、葛洪等名道士来游。道教开教祖师“二葛三张”中的葛玄首创洞玄观于方山山南，这是江东最早的道教宫观。以后东晋道教理论家、炼丹术家、医药学家葛洪也曾来方山，用葛玄亲建的洗药池等物继续炼丹修道，终于练成精丹，成为中国历史上着名的化学家，“精丹练成亏葛洪”一直被后人和中医铭记，为传统中医和养生作出了重大贡献。葛洪还留下一首描写洗药池的诗：“洞阴冷冷，风佩清清。仙居永刼，花木长荣。”

南朝宋时，陆修静于方山筑崇虚馆参研道经，以致最终完成对南天师道的改革，成为一代道教宗师。

唐贞观六年（632年），并栖岩观于方山洞玄观，扩大了它的规模。

宋改名崇真观。宋代杨修有《洞玄观》诗：“葛玄功行满三千，白日骖鸾上碧天。留得旧时坛宇在，后人方信有神仙。”

元至元二年（1336），遭兵燹，独存葛玄遗像。

明洪武年间重建，成化、万曆年间重修。有山门、三清殿、仙公殿等，道院4房，正殿奉葛仙公像。有仙翁洗药池、炼丹井、药臼等名胜。明时，洞玄观属朝天宫管辖。明正统十二年，曾受赐《道藏》一部。

民国时衰落，无道士看守，洞玄观废。

1800年过去了，葛玄在方山所用煮药铛、药臼等今已难觅，但洞玄观遗址、炼丹井、洗药池尚存。

2008年3月19日，方山洞玄观经江苏省宗教事务局批准恢复筹建，由省道教协会副会长孙敏财道长主持筹建，2008年项目正在建设中。在方山风景区内复建古洞玄观，填补了南京江宁区无道教宗教活动场所的空白，对传承道教文化与发扬中国传统文化有着十分重要的意义。

古洞玄观全盛时有一宫、三观、六殿、九台、十八堂。根据规划，建成后的新方山洞玄观将划分成三大功能区：行政接待区；神仙朝拜区；养生培训区。其中，神仙朝拜区的整体建筑布局为子午线-两侧对称的仿古宫殿建筑群。

方山古洞玄观至今已有1800多年的历史，为东吴开国帝王孙权敕建的皇家道观，是中国道教的发源地，在中国道教史上有着非常崇高的地位，历史上规制颇高，规模宏大，信众遍及天下，影响深远。而其创始者为六朝时的高道葛玄，他是道教养生学及炼丹史上的重要代表人物。其侄葛洪正是得益于先人葛玄，在洞玄观修道，终于炼成金丹，成为中国历史上着名的化学家，“金丹炼成亏葛洪”一直被广大百姓与中医们铭记，为中华传统医学与养生学的发展做出了卓越贡献。

方山古洞玄观遗址现存有洗药池、古井两口，此外，洞玄观有一传家宝龟蛇玄武青铜器在明代被张三丰借于武当展示，六百年再没回祖地洞玄观，现存于武当博物馆，成为该馆镇馆之宝。该古遗址已被列入《南京市第三次全国文物普查新发现目录》