纱厂老闆冯耿堂（罗维）与太太施尔芬（王莱）结婚多年，儿女均已长成。长子冯祖康（雷震）大学毕业之后，任职于父亲朋友开设的公司，没有继承父业；幼女冯雅苓（丁皓）刁蛮任性，终日与浮浪少年方大卫（田青）四处游玩，荒废学业。冯耿堂又见妻子沉迷麻将，逐渐感到缺乏家庭温暖，终日郁郁不乐。一日，经江秘书（蒋光超）介绍，聘用一名少女杜蕙芳（尤敏）为书记。杜蕙芳工作尽责细心，深得冯耿堂赏识。

原来杜蕙芳出身贫苦，自幼丧父，与母亲（欧阳莎菲）及幼弟相依为命。母亲患病多年，无力谋生，幼弟尚在求学，杜蕙芳遂辍学求职。冯耿堂深感同情，不知不觉间竟对杜蕙芳产生一种微妙感情。一日，杜蕙芳母亲病重，冯耿堂送她入院医治，乘机提出欲将杜蕙芳金屋藏娇之事。杜蕙芳为报冯耿堂恩惠，勉强答允。
不料此事竟被冯祖康侦悉，马上告知母亲及妹妹。施尔芬遂命女儿跟蹤丈夫，至其新居，蒐集证据。冯雅苓拍下父亲与杜蕙芳之照片，施尔芬怒不可遏，意欲率众破坏。后经儿子规劝，强抑怒火，借词将杜蕙芳接回家中暂住，以待新居装修完成。冯耿堂不敢声张，满脸尴尬。
施尔芬以为杜蕙芳贪慕虚荣，勾引其夫，本欲折辱于她，不料相处之下，深喜杜蕙芳纯朴善良，对她大为改观。冯祖康下班回家，竟然发觉杜蕙芳即其中学同学，遂相约假日出外游玩，情愫暗生。施尔芬鼓励儿子追求杜蕙芳，又命女儿监视丈夫，以绝其念。

未几，冯祖康调职新加坡。送行之日，施尔芬揭破丈夫心事，又命儿子与杜蕙芳同行，共创新生。