清雍正八年(1730)知府张兆凤重加修葺，更名“敷文”。后因经费不足日渐残破。乾隆十九年(1754)巡道王概清查旧项，捐添膏火，重修学舍，规模大变。嘉庆五年(1800)知府杜安诗扩而新之，易名“高文”。院舍5进，前座为大门3楹；二座为仪门，与左右角门共15楹，东西列学舍各21楹；三座为讲堂；四座为光霁堂，上为志伊楼；后座为梦花居，藩垣厨厕无不齐备。八年又于东偏僻地建成瓣香楼3楹，以祀吴、曹等人。前为射圃，置亭于左。规模大备，文风日盛。延教谕萧翔云任监院并主讲席，知府杜安诗于政事之暇亦时至书院课艺诸生。经其指授，嘉庆五六年两科中试者各5人，二十一年乡试获隽者7人。鹹丰六年(1856)圮于水。十年吴川陈兰彬、茂名杨颐倡捐重修，建筑格局一如其旧，唯梦花居易名高咏堂，翁同龢书额。每年甄收生徒约50-60名，内课生童每月给膏火500文，外课生童每月100文。设有宾兴制度，光绪十四年(1888)总额300两，分派与赴京考生为车船费用。光绪二十九年改设为高州府中学堂。民国时改为省立高州中学。