1938年3月初，驻守临沂的国民党军庞炳勛部、张自忠部，在临沂一带与日军展开了近一个月的激战，给日军以重大杀伤。4月21日，日军侵占临沂城后，为泄心头之愤，连续10天屠洗临沂城。实际上，日军在侵占临沂城前，就先后在城北古城村和城西大岭村製造了两起惨案。在古城村杀害62人。在大岭村杀害27人后，又将躲在村西观音庙里的45人用机枪打死。

日军出动飞机对临沂城滥施轰炸，仅在西门里就炸死炸伤300多人。进城后，日军在大街小巷密布岗哨，架起机枪，挨户搜查，堵门杀人，遇人就刺，对中青年妇女先奸后杀。居民纷纷跑向西门里的天主教堂。丧心病狂的日本兵，一面向难民扫射，一面在各个路口堵截，手无寸铁的人群纷纷倒下。事后用车拉了好多天才把这里的尸首清理乾净。日军进城当天，发现了在城内西北坝子3个防空洞及西城墙根躲难的民众，于是，先用机枪扫射，后用刺刀乱捅，480多人全被残害。日军搜查城隍庙东杨家园时，妇女纷纷跳井自杀，顷刻之间，死尸塞满井筒。

10余天的屠杀，全城倖存者无几，被害居民总计2840余人，加上城郊被杀的，共达3000人以上。日军在大屠杀的同时，还纵火毁城，从火神庙以西、僧王庙前玉聚福街东、洗砚池以南，直到石碑坊、杨家巷至刘宅一带，大火一直延续六七天，整个城西南隅化为灰烬，南关老母庙前、阁子内外，房屋全被烧光。