上海英租界里，高级妓院被称为“长三公寓”。长三公寓里的红倌人沈小红（羽田美智子 饰）、黄翠凤（李嘉欣 饰）与周双珠（刘嘉玲 饰）心事迥异。一个想同某个男人建立长久关系，一个在与多个男人斡旋时已秘密锁定其中最有闲有钱的一位，想其将来帮她赎身，另一个心地仁厚，却又看破红尘，觉得人生不过如此……
该片改编自张爱玲曾将其“注译”成国语的吴语小说《海上花列传》。

本片为侯孝贤向法国导演艾尔伯特•拉摩里斯（Albert Lamorisse）拍摄于1956年的短片、在电影史上有重要地位的《红气球（Le Ballon Rouge）》的致敬之作，也是他继《咖啡时光》之后拍摄的第二部致敬外语片。
Suzanne（朱丽叶•比诺什 Juliette Binoche）每日为一出筹备中的改编自中国元曲的木偶剧《求妻煮海人》中角色的声音演出以及其它琐事忙得焦头烂额，加上丈夫Pierre远在加拿大蒙特利尔写小说，儿子Simon（Simon Iteanu）成了“累赘”，无奈，她请了在巴黎念电影的中国女孩Song（宋芳 Song Fang）照料Simon。与Simon在一起时，Song双手始终不离摄影机，并向好奇她在拍什么的Simon提及《红气球》。
Suzanne的房客Marc（Hippolyte GirardotLouise）仗着是Pierre的朋友，时常做出一些令她愤怒的事，而房租更是借口生活贫困已经好几个月未交。Suzanne有心接在布鲁塞尔的女儿Louise（Louise Margolin）回巴黎念书，决定赶走Marc，却不得Pierre理解。将一切看在眼里的Song没有参与类似琐事，她与Suzanne保持着淡然的朋友关系，多数时间想的只是她的电影：Simon发现一个无人理会的大红气球，拉着它穿越巴黎的大街小巷的过程，被她记录在摄影机里，成了一部电影中的电影。之后，该红气球也似有生命般，始终在Simon出现的地点上空飘来荡去。

因为妈妈生病在床，台北某所小学毕业生冬冬（王启光 饰）携带妹妹婷婷（李淑桢 饰）来到乡下外公家度暑假，在和当地小朋友共度快乐时光的同时，也逐渐见识到成人世界的各色脸孔。
舅舅（陈博正 饰）房间里藏有通缉犯人，同一个女孩谈着惹外公火冒三丈的恋爱；人见人怕人躲的疯女人（杨丽音 饰）和婷婷交上朋友，并救了婷婷一条命；为救治疯女人，外公没赶去台北看望自己要病危的女儿……冬冬虽是懂事的孩子，但上述种种，要他好好消化掉却也费力。但当妈妈和疯女人均转危为安，冬冬在听完外公的一席话后，明白了许多事情不能只看表面。

初中毕业后，15岁的农村少年阿远（王晶文 饰）来台北做事，白天工作晚上学习，初尝人生的辛苦，却仍为自己的理想努力着。一年后，阿远青梅竹马的恋人阿云（辛树芬 饰）也来到台北，了解到现实的台北同阿远信里所描述的是两个世界。可是困顿的环境并没减少他们的快乐，因为他们拥有彼此。
阿远服兵役时，因为有每日抵达的书信，孤身在台北的阿云起初并没感到有多孤独。然而日子久了，遥远恋人的纸上诉情总比不过现实生活中鲜活男孩的低声耳语，加上对未来怀有的恐慌，阿云在阿远退伍前选择了嫁作他人妇。伤心虽有，阿远也只能接受……

从大陆迁往台湾的一家人，在表面平静的日子下，各怀心事。祖母（唐如韫）对大陆念念不忘，一心想回去；父（田丰）母（梅芳）虽也有“外省人” 身份的尴尬，却也清楚知道回大陆只是梦一场；姐姐（萧艾）差不多已当自己是台湾本地人，偶尔伤心落泪是因想起为替父母分重担放弃了念大学；小孩子阿孝咕（游安顺），则只想着自己如何玩得痛快，完全没有大陆的概念，而对父亲的死，他只觉突然并无太多伤心。
可是因为家庭的特殊，懵懂中阿孝咕也知自己并不完全相同于同龄人。尽管表面上他做着多数成长中男孩都会做的事（四处打架、开始中意某个女孩子），内里却已埋下会突然裂变的种子，只等某个契机的来临。

女孩Vicky（舒淇 饰）带着五十万存款，跟小她两岁的双鱼座男孩小豪(段钧豪 饰)拍拖。小豪是无业游民，以极度自私的方式爱着Vicky。他精准计算着她下班回家的时间，检查她的各种帐单与手机通话记录，并且嗅窥她身上的气味，发现不寻常的蛛丝马迹之后，歇斯底里地发怒，让猜疑迷惑了年轻冲动的心智。
两人这样互相折磨，不平衡的恋情难以长久。Vicky为了养小豪当起了制服小姐，玩伴带她在PUB里认识了捷哥。捷哥年长而成熟，他们在一起像是大哥骄纵着小妹。Vicky开始觉得她需要另一个世界，于是在一个苍白的日子里，她想要离开，离开小豪，离开这个岛屿的不安，她想要逃得远远的……

普通人的命运在轰轰烈烈的时代面前总是渺小到可以忽略不计。个人如果勇敢地站出来想阻止时代洪流，多少像奋力扑向风车的唐吉坷德，往往只能当殉道者，而更多时候，个人甚至连选择当旁观者的权利也没有。可是普通人的悲剧，无疑能照出历史的荒谬与残忍。
1945年，日本无条件投降后台湾光复，基隆一户林姓人家眼见也要过上好日子，但人算不如天算，林家大小波折从此不断。“二・二八”事件发生后，家中的四兄弟更是只剩下老老实实开着一家照相馆的聋哑人老四林文清（梁朝伟 饰）。然而悲剧并没到此终止，因为和进步人士有联系，林文清也没能逃脱被逮捕的命运。到此，林家男子只剩他和吴宽美（辛树芬 饰）尚呆在襁褓中咿呀地学语的幼儿……