徐家杰于道光二十四年（1844年）考中甲辰恩科举人，道光二十七年（1847年）中张之万榜三甲进士，与李鸿章同年并为至交。曾任山东益都县（今青州市）知县。晚年任北京金台书院山长。

徐家本为宜兴望族，科举极盛。徐家杰有三子，臻寿、致靖、致愉，其中徐致靖为光绪二年（1876年）进士，是戊戌变法中重要人物。徐致靖长子徐仁铸为光绪十五年（1889年）进士，官至湖南学政；次子徐仁镜为光绪二十年（1894年）进士，官至翰林院编修。徐致愉子仁锦（笔名凌霄）、仁钰（笔名一士）皆为着名学者。