1938年3月初，侵华日军进逼山东临沂边境。驻守临沂的国民党第四十军庞炳勛部在第五十九军张自忠部增援下，与进犯临沂的日军展开了近一个月的激战，给敌人以重大杀伤。尔后，张、庞两军相继撤出战场，临沂遂于4月21日失守。

1938年3月下旬的一天，天刚放亮，日军如狼似虎地闯入古城村。日军放火烧房，农民王殿思背起被火烧伤的母亲往外逃，没跑多远，被日军用枪打死，母子双双倒在血泊中；一个躲在墙角里吓昏了的老嬷嬷，被日军拖到街上点火焚烧，老人惨叫，日军却站在一边狂笑。不到一天的时间，古城村就变成一片废墟，断垣残壁，血迹斑斑，全村被杀害62人，有一户被杀绝。逃难的民众在渡河时，又被日军抓住数十人，用刺刀逼着脱光衣服向河里跳，谁不跳，上去就是一刺刀。除个别人死里逃生外，多数人惨死在水中，日军却在岸上狂笑。
日军进大岭村后，更是无恶不作。躲在村西观音庙里的避难民众，除两人逃脱外，被日军用机枪打死45人。全村300多间房屋被烧光。

与此同时，日军不断派飞机对城里狂轰滥炸，特别在城垣弃守之前的两三天内，轰炸扫射日甚一日。

一枚炸弹在城内北大街路南王贞一杂货店的防空洞口爆炸，在洞内避难的男女老少30多人，有的被炸死，有的被闷死，无一倖免。颜家巷郁鸣漪一家，除本人逃出外，其他人全部遇难。西门里路南开杂货店的李润生之父被炸死在自己家中。在西门里天主堂（现临沂天主教堂）内避难的民众被炸死炸伤300多人，尤修女被炸得骨肉分离，溅在了教堂从南面数第二根石柱上。直到今天，尤修女的血迹依然隐约可见）。

日军进城后，在大街小巷密布岗哨，架上机枪，挨户搜查，堵门截杀。日军每到一家，遇人就是一刺刀，对中青年妇女先奸后杀，连老人、小孩也不放过。未及走脱的居民纷纷越墙，向西门里天主堂方向寻求避难。居住在教堂后面100多岁高龄的夏全贞老人回忆说：“当时临沂城里极为恐怖，大街上到处是日军的岗哨，很多老百姓听说日本人怕德国人，于是纷纷涌入西门里天主堂。包括地下室、大教堂、西侧修女院育婴堂以及兰山路南教会诊所等地方，被城里的百姓挤得水泄不通，以至于教堂院儿大门都难以关上，一时间，西门里天主堂成了老百姓的避难所。由于教堂里全是难民，挤得连插脚的空都没有。仅教堂门外挤不进来的难民，就多达好几百人（大约700多人）。这时，丧心病狂的日本兵，一面从教堂西面向难民扫射，一面在教堂以东各个路口用机枪堵截，毫无遮挡的人群纷纷倒下，凡是教堂门外的难民，都惨遭日寇杀戮，兰山路顿时血流成河。万幸的是教堂门里的难民幸免于难。教堂杭神父（德国籍）看到日寇灭绝人性的滔天罪行，很想设法制止，怎奈能力有限，力所能及的只是想方设法地解救难民。他亲自安排信众轮流值班，为难民盛汤送饭，披衣盖被。教堂门外，不时传来机枪的扫射声和遇难百姓悽惨的喊叫声。

一日，一伙日军小分队路过西门里天主堂时，停了下来。他们不敢进教堂杀人，于是，站在教堂门外，诱骗难民走出教堂大门，然后，再用刀枪屠杀。老百姓吓得硬往教堂院门里挤。教堂看门的先生，赶紧将此事告知了神父。德国籍的杭神父听说后，非常气愤，好不容易穿过人群，挤到教堂大门口。恰巧看到一个日本兵正端着刺刀，以下流低级的语言，对着教堂门里的避难妇女说话：“花姑娘的，出来！”此时，杭神父（1930—1953在临沂）走上前去，对着那个日本兵“啪啪”一既耳光，日本兵一看眼前站着的大鬍子德国神父，虽然杀人不眨眼，但此时也没敢出声，平时，他们见到德国神父都是先行军礼以示尊敬的。故此，挨了打，也没敢反抗，只是迅速地一低头“嘿”了一声，就赶紧扛着枪，与其他日本兵排成队，离开了教堂。

据老人回忆：躲藏在西门里天主堂、南堂、北堂（北门里路东）的难民，约计4000人左右。

在教堂后面居住的孙建芝老人回忆说：“当时她带着两个女儿走投无路，日本兵要侮辱她和两个女儿，幸亏及时躲进天主教堂避难，才躲过此劫。”

在兰山公寓居住的王氏回忆说：“当时，有很多人为了逃命，东奔西跑的，后来，躲到西门里天主堂避难。由于教堂内难民太多了，粮食和衣服都不够用。有的人就冒着生命危险，偷偷地走出教堂大门，回家拿东西，结果，在来回的路上，又死在了日军的枪下。有的为了保命，请神父在后面跟着，实际上是保护着，回家取物。这样，即拿回了东西，又保全了性命。”某难民瑞路，姓什幺，记不清了，看到了日军杀人的可怕场面，吓得欲跳井寻死，幸亏被教堂的人救起，带回教堂避难，从而幸免于难”。

日军在教堂门外大声地叫嚣，只能在外面杀人，但是，面对教堂内的难民，却不敢轻举妄动。

至今依然健在的陈瑞霆老将军的儿媳，在2010年3月中旬，从北京来临沂，到达教堂时，非常亲切地参观了一遍。她说她是临沂人，妈妈尊名何云，兵荒马乱的年代，自幼是孤儿，由西门里天主堂抚养长大。妈妈常对她说，那时，教堂里全是难民以及被教堂收养的女孤儿。她指着二层楼的一间房子告诉我们，她的丈夫，也就是陈瑞霆老将军的儿子，就是在临沂教堂大概这个地方出生的，感觉非常亲切。

日军从南门里一杂货店院里的防空洞中搜出20余人，当场全部用刺刀刺死。崔家巷一户的小孩子出疹子，按中国人的惯例，门口挂红布条，日军怕“传染病”，点火将小孩活活烧死。日军搜查城隍庙东杨家园时，妇女纷纷跳井自杀，顷刻之间，死尸塞满井筒。茶棚街胡士英家的防空洞较大，藏人很多，日军堵门用机枪扫射，并向洞内扔手榴弹，死者无数。日军走时，还在胡家大门上写着：此院死尸大有。北门里路西一老太太年过70，卧病数月，生命垂危，全家7人围守病床，未及躲避，日军进院后将男子全部刺死，女的被迫背起病人一同跳井。城内居民凡被日军发现者均惨遭毒手。一次，日军驱赶着30多人清扫北大寺（今东风製药厂处），干完活，说叫他们站队点名，结果被机枪点射，全部丧生，尸体被推进大湾内。

1938年3月6日深夜，驻扎沂水城西南15华里的上峪子村的国民党沂水县政府保全队队长范桐山，带领保全队武装偷袭了沂水城南日军岗楼。3月8日晨，沂水城日军两个排突袭并封锁了上、下峪子两村，开炮轰击，进行报复。此时范部已撤走，村民慌作一团，纷纷向南跑去，北山上机枪子弹雨点一样落下来，许多人倒在弹雨中。接着日军冲进村中，将村中未及逃走的村民30人赶到下峪子村东北沟子里，当靶子逐个用机枪射杀。

临沂全城的倖存者寥寥无几，有的在地窖内东躲西藏多日，挣扎活命；有的白天在炉膛内藏身，深夜从城墙水道中爬出，住在南关美国医院的近百名原国民党第四十军伤员，连夜转移到郊外，多数重伤员死在医院附近的麦田里，曝尸旷野，无人敢收。万恶的日本侵略者，在城西疯狂屠杀十余日后还嫌不够，又在火神庙旁和南门里路西设了两处杀人场，用军犬、刺刀屠杀无辜民众以取乐。王学武的父亲被日军用刀剁成三截；徐廷香之父、吕宝禄等被军犬活活咬死。全城被害民众计2840余人，加上沿途杀戮，共达3000人以上。
日军在进行血腥大屠杀的同时，还纵火毁城。从火神庙以西、槽王庙前玉聚福街东、洗砚池以南，北到石碑坊、畅家巷至刘宅一带，大火一直延续六七天，整个城西南隅化为灰烬。

1945年8月15日日本天皇宣布投降后，临沂日军于8月16日逃往枣庄．城内伪军将伪沂州皇协军王洪九一部接入城内，企图凭藉坚固工事和依靠日军逃走时留下的大批武器弹药及粮食固守顽抗。17日，八路军滨海、鲁中军区部队各一部向临沂发起进攻，9月11日7时，八路军占领临沂城，共歼灭伪军2000余人，伪军头目许关生、邵子原被生擒。