一九四九年秋，开国大典的礼炮声中，北京城里一片欢腾，清查特务的工作也在紧张地进行。土刀唐胡同里，刚刚接管了旧警察局的年轻派出所所长肖大力正忙着维持群众游行的秩序，偶遇一个熟知兵器的教书匠冯静波，这引起了他的怀疑。为了查清冯静波的身份，肖大力搬进了土刀胡同十五号院，与冯静波做了街坊。冯的真实身份确实是国民党的潜伏特务，代号"5182"。恶霸四阎王为他发了委任状，接受"白眼镜"的命令。深夜，"白眼镜"前来交待任务，冯的特务生涯从此拉开了序幕。"白眼镜"为冯送电台时被肖大力等人击成重伤，临死前只说出5182几个字。肖大力认为冯有重大嫌疑，让他注意四阎王的行踪，借此对冯旁敲侧击。曾在妓院做使唤丫头的大眉子参加了夜校扫盲班，她爱慕冯老师的才华，常主动为他做家务。冯为了掩护自己的身份，请大力保媒娶大眉子为妻。大力找大眉子谈心，拐弯抹角说冯是特务，可大眉子自觉出身下贱，婚事全凭大力做主。
肖大力偶然听到从冯家传出用作联络暗号的乐曲，便也买了一台短波收音机，煞费苦心地进行研究，吃饭睡觉都不忘琢磨那首名为《展览会上的图画》的曲子，在大家眼里他似乎是着了魔。冯从大力的妻子刘亚琴那里听说此事，不禁暗暗心惊，深知自己处境艰难，只得不动声色地应付这一切。他假称挖出一夜壶金子，将活动经费充了公，被评为抗美援朝积极分子。满腹经纶的冯静波邂逅了校长的女儿徐小妤，两人一见如故。小妤仰慕冯的才华，冯也倾心于美丽又有知识的小妤。二人荡舟湖上，面对小妤炽热的目光，冯在欢乐之余也深感痛苦，心情沉痛地说自己是负罪之人，准备自首，但在大力面前却欲言又止。晚上，冯突然不见了踪迹，大力紧张地认为他是畏罪潜逃。敏感的亚琴直奔小妤的宿舍，正好撞见这对偷情的恋人。东窗事发，冯家乱成一团。大眉子不依不饶，要跟那个破坏她家庭的女人"撞头"。冯终于鼓起勇气提出和她离婚，不料受到大力等人的指责与阻挠。校长更以开除作威胁，不许他离婚。气愤的大力把冯反锁在厕所里，让他好好反省历史问题。静波与小妤迫于压力，只得黯然分手。
冯静波在学校从未有过激言行，是个人人称赞的好老师，大力挑不出他的毛病，无可奈何。街道组织大家学习宪法，请冯为众人讲解。冯对镇压反革命的条文心有余悸。特务身份的重压使冯隐忍地生活着，这竟使他在历次运动中躲过了劫难，并且由于他为人和善，处处助人，竟被评为区劳模。而坚信冯是特务的肖大力却被诬以"特务"的罪名送进了劳改农场，亚琴自杀身亡。大眉子意外地发现冯的委任状，偷偷地烧掉了。
四十年过去了，肖大力重又穿上了警服，他依旧执迷不悔地监视着冯的一举一动。此时的冯已由一位好老师变成好校长，他确实感到坦荡做人的快感，同时也更感到自己心底那块石头的沉重。肖大力的儿子新桅和冯静波的女儿抗美青梅竹马，却因父辈的恩怨无法走到一起。昔日给冯发委任状的四阎王已成了海外合作项目的投资者，这令冯惊讶不解。肖大力的铮铮铁骨令冯自惭形秽，也正是肖大力的所作所为，让冯了解了共产党。冯终于幡然悔悟，给大力写了自首信，请他宽恕"昨天的敌人"，并在女儿的搀扶下走进了公安部的大门。