1948年前后，中国某个平常的遍处皆是断垣颓壁的南方小城里，年轻少妇周玉纹（韦伟 饰）与生病的丈夫戴礼言（石羽 饰）过着索然寡味的日子。战争不仅令礼言失去了家产，也使他丧失了生活的信念。而玉纹每日做的，是在早晨出门买菜、给礼言抓药，在城头踱步好大一会后伤神地复回到家中，将药丢于他时与他对话不过三两句，剩下大半时日，是坐在妹妹戴秀（张鸿眉 饰）房间绣花独自喟叹——除了早晨出门徘徊的城墙头，这是她认为的小城唯剩的有生气之地。
章志忱（李纬 饰）的到来打破了死气沉沉的一切。他是礼言昔日好友，却也是玉纹的旧时情人。与礼言死气的阴郁形成对比的是，志忱年轻健康有朝气，这令本是小城异类的戴秀对他暗生情愫，但志忱心中一直没忘玉纹，而他无疑也是玉纹内心的渴望和呼唤。发乎情止于礼，志忱和玉纹之间欲迎还拒、欲拒还迎的心理角逐游戏连番上演时，礼言和戴秀窥见了个中端倪。

1920或30年代的上海。
创办小学多年并自任校长的陈绍常（石挥）早年丧妻，独自抚养两子建中、建平和一女建英。与他一起生活的大姐劝他续弦，他虽也有心，却因目睹挚友的爱女刘敏华备受后母虐待，断了念头。不久，挚友亡故，敏华辞别他后随后母迁居外地，一别十年。两人再见面时，敏华（朱嘉琛）已成长为独立自强却不失贤淑的新女性，因不愿再受后母摆布，她拜托绍常介绍一份工作。随后，她成为绍常的同事。
成年的建中（韩非）如愿以偿成为某家银行的职员，因得经理赏识，他结识其女冯丽君（李浣青），很快变作其乘龙快婿，社会地位日益提高。建中夫妇认为绍常卑微的小学校长身份丢了他们的脸，劝他退休在家做老太爷，绍常虽一百个不情愿，却也乖乖听命。敏华接下他的工作。只是赋闲在家的日子不好过，每日时间都似他那块坏掉了的老怀表般静止不动。而将无聊心情讲给家人听时，家人或怨他有福不懂享、或自忙自事无暇顾他，他的失落一日多过一日，与建中夫妇的矛盾亦越来越多。
又到一年清明时，拜祭亡妻时，绍常遇见前来祭母的敏华，感慨人到老年只能等死，敏华却认为人在中年的他正处于事业的黄金期，劝他再回学校教书。而听从敏华建议偷偷瞒着建中再回学校教书一事漏泄后，建中对他的态度更加冷淡，但他已铁了心。“天意怜幽草，人间爱晚晴”，其后，他无意间发现自己与敏华早已两情相悦，决定与她结婚，此事更令建中夫妇大为恼火。