红楼又称文明门，原是古城南门，清顺治十三年(1656年)修建城垣，建成东、西、南、北城楼四座，朝嘉庆十八年(1813年)，绅士梁贻嘉等呈请移南门于学宫正门，取"青云路上构杰阁，献奇纳秀开文明"之意，故名文明门。后形成习俗，凡官宦履职调任，民间婚嫁喜庆都经此门出入。

文明门最初为庙宇式建筑。民国36年(1947年)改建，建筑仿宫殿楼台式，分两层，底层为瓮城，中开拱门，门高4.73米，宽4.4米，深10.55米。城门上还曾设定土炮，于每天正午鸣响报时。现在所见的文明门，建筑体宽24米，深14米，高30多米，装修式样属"遮殿顶"的楼台结构，大屋顶，高台基，鼓磴式的柱础，抬梁式的屋架，屋檐下有莲花托拱头，飞檐翘角衬以红墙绿瓦。雄伟壮观。现存，文明门是信宜古城惟一保存下来的城门。