小寨村为元至元十八年（1281年）由探马赤军中彭姓回回炮手所建军屯。现有村民约1900人，均为回族，有米、彭、张、杨、马等十五姓。以米姓、彭姓居多。米姓为清嘉道年间(1796～1850年)由老寨迁来。

1883～1885年黄河连续三年齐河李家岸决口，黄水过后淤积的原寺旧址重建新寺，有“寺上寺”之说。豪华的清真寺金柱大门，檐柱额枋上下精美的木刻,色彩艳丽,刻工精细,实为罕见。大门两侧的方形抱鼓石,在古建筑中现已少见。门楼内两侧墀头,高浮雕与透雕相结合,十分生动有趣。院内影壁墙两侧博风板,绝无仅有。礼拜大殿结构複式，由前卷棚、中大殿、后窑殿三部分组成，为砖木混合结构。

后院总面积近6000平方米，寺内建筑面积830多平方米，礼拜大殿150平方米。

小寨子清真寺建筑群保护完整，经多次重修，气势恢宏，庭院森森，环境优雅，为济南市第三批文物保护单位。寺记忆体有“当今皇帝万岁万万岁”古碑和百年古柏及古匾额等遗存。