平茶土司府是平茶土司府治所和杨氏土司祖庙，兼官邸、宗祠两大功能。现在看到的建筑，是元代修缮后留下来的，这里也是秀山县保存较为完好的土司府。土司府建筑占地887.86平方米，有前厅、正堂、后堂、厢房、戏楼、围墙。前厅木结构单檐歇山式顶，穿斗式梁架，高8米多，非常气派。现在保留的建筑，是元代修缮留下来的，这里也是重庆秀山县保存较为完好的土司府。这里也是秀山县保存较为完好的土司府。

平茶土司府为杨光彤的土司府治所和杨氏土司祖庙。历经宋、元、明三朝，至清雍正十三年（1735年）“改土归流”废司设县，共20世21传计483年。

宋理宗淳佑十二年，邑梅、石耶、平茶三洞土着居民内讧，乜八、孟溪（今天贵州省松桃自治县地）土同知杨通晟统兵抚苗安民，建邑梅、石耶、平茶（清溪一带古称平茶）、地坝四司，其子杨光辅、杨光隆、杨光彤分别为邑梅、石耶、平茶土知府。

元成宗大德六年（1302年），元王朝对秀山土司建置清理整顿；明洪武四年到嘉靖二十九年，形成秀山历史上“百里四司”即：邑梅、平茶、石耶三洞长官司、地坝洞副长官司，直到雍正末年。
清顺治元年（1644年），世祖爱新觉罗·福临入关，统一中国，加强清王朝中央集权，对土司制度“改土归流”，将世袭的土官制，改为由中央政府随时可以任免的流官制。清雍正十三年（1735年），在军事压力下，邑梅、石耶、平茶、地坝洞长官献土归顺清廷，秀山土司结束，历时483年。

土司制度是历史上中央封建王朝，对少数民族地区，实行归属中央，权力自治的一种政治管理体制。秀山土司制度，则起于宋朝止于清雍正十三年的"改土归流",历经宋元明清，前后480多年。土司与中央封建王朝的关係，就是土司对中央封建王朝纳贡称臣，中央王朝对土司实行册封，準予自治。土司土地不入中央王朝版图，人口不入中央王朝户籍，生杀在握、称雄一方。土司实际就是一个地方的土皇帝。
“秀山土司历史，最早记录是五代，有冉氏、杨氏、田氏三大姓。”秀山档案局长白胜文解释。当时中原混乱、十国分裂，现在的秀山、酉阳地域，全被土着民族酋领割据。