初中毕业后，15岁的农村少年阿远（王晶文 饰）来台北做事，白天工作晚上学习，初尝人生的辛苦，却仍为自己的理想努力着。一年后，阿远青梅竹马的恋人阿云（辛树芬 饰）也来到台北，了解到现实的台北同阿远信里所描述的是两个世界。可是困顿的环境并没减少他们的快乐，因为他们拥有彼此。
阿远服兵役时，因为有每日抵达的书信，孤身在台北的阿云起初并没感到有多孤独。然而日子久了，遥远恋人的纸上诉情总比不过现实生活中鲜活男孩的低声耳语，加上对未来怀有的恐慌，阿云在阿远退伍前选择了嫁作他人妇。伤心虽有，阿远也只能接受……

该片是侯孝贤对自己电影生涯所作的一次总结。
三段故事里男（张震 饰）女（舒淇 饰）主角表达情感的方式及所处时代背景，都能在侯孝贤各个时期的影片里找到对应。《恋爱梦》纯净，似不可抵达的梦的彼岸；《自由梦》感人，却是接近天国的更遥远的梦境；《青春梦》冰冷，却是现实。
冒失说出侯孝贤眼中“最好的时光（或最好的电影时光）”是哪一段并无太大意义，因为所有的时光都是被辜负被浪费的，也只有在辜负浪费之后，才能从记忆里将某一段拎出，拍拍上面沉积的灰尘，感叹它是最好的时光。

上海英租界里，高级妓院被称为“长三公寓”。长三公寓里的红倌人沈小红（羽田美智子 饰）、黄翠凤（李嘉欣 饰）与周双珠（刘嘉玲 饰）心事迥异。一个想同某个男人建立长久关系，一个在与多个男人斡旋时已秘密锁定其中最有闲有钱的一位，想其将来帮她赎身，另一个心地仁厚，却又看破红尘，觉得人生不过如此……
该片改编自张爱玲曾将其“注译”成国语的吴语小说《海上花列传》。