域多利军营早于1840年代已有驻军，并于1843年至1874年间正式建立，是英军最早期在港兴建的军营，曾建有三十多座军事建筑物。香港日据时期，军营曾被日军徵用，香港重光后军营曾作大规模修复。1979年，驻港英军将域多利军营的土地交回香港政府。军营于1979年交还香港政府，里面大部分建筑在1985年至1992年遭拆卸，其中大部份範围改建为香港公园和太古广场。

改建期间域多利军营大部分建筑物被拆，现仅存数座历史建筑：

主条目：旧三军司令官邸

两层高的旧三军司令官邸又称旗桿屋 (Flagstaff House)，建于1846年，属希腊古典复兴式风格，曾经是香港殖民地时期驻香港英军三军总司令的官邸，为香港现存最古老的英国殖民地色彩建筑物。现在这座建筑物已改为香港茶具文物馆。建筑物见证香港百年殖民历史，历史价值极高，现已列为香港法定古蹟。