闽南人用“油麻菜籽”比喻女人的命运，说她们像油麻菜籽一样随风飘散 ，落到哪里长到哪里。秀琴出身于台湾有钱人家，是娇生惯养的小姐，嫁给李世俊后却经常遭到丈夫的冷落和打骂。李世俊在外玩女人，还将她的嫁妆拿出去卖钱挥霍。她只能忍气吞声，操持家务，生儿育女。在家中，儿子阿雄受到父亲的娇惯，吃喝玩乐不务正业。女儿阿惠却得不到父亲的怜爱。一次，丈夫引诱别人妻子的丑事败露，秀琴变卖全部家当，为其平息纠纷。后来全家迁到台北，另谋生路。自此，夫妻在家里的地位颠倒了过来，秀琴成了家庭的主宰。但她同样重男轻女，儿子受到纵容，阿惠虽联考时成绩优秀，仍要做许多家务活计。这时，父亲对阿惠的态度变好，给予她许多疼爱。在台北经过一段困窘的生活，家境逐渐好转。秀琴变得讲究衣饰打扮，追求享乐。她对阿惠交男朋友进行干涉，不让女儿嫁给她所爱的恋人沈立伟。但大学毕业的阿惠，不再接受像油麻菜籽一样的命运安排，终于同相爱的立伟结为夫妻。最终，秀琴承认了阿惠的选择。

白玫（陆小芬 饰）从小被寄养在别人家中，白玫的养父把她卖到南方澳渔港的私娼寮当妓女，“十四岁就在中坜的窑子里，垫著小凳子站在门内叫阿兵哥的日子”。后来养母家境好转之后，希望白玫从良，但白玫不肯，养母骂她是烂货，白玫反讥她说：“是的，我是烂货。十四年前被你们出卖的烂货，想想看：那时候你们家里六口人的生活是怎么过的？现在是怎么过的？现在你们有房子住了，裕成毕业了，结婚了，裕福读高中，阿惠嫁了。全家吃穿那一项跟不上人家？要不是我这个烂货，你们还有今天？”
一日白玫在火车上遇到昔日的姊妹茵茵（苏明明 饰），已从良的她，嫁给了体贴的少校，并育有一子鲁延。一家幸福的模样，让白玫突然也想当起母亲来。后来白玫跟一位恩客；善良纯朴的渔人阿榕（马如风 饰）借种怀一子后随即离开该地。与渔人阿榕不告而别后的白玫独自回到亲生母亲故乡。在白玫到达当地后，该村落随即开放了公地放领使村民拥有土地等等的好事，尔后当地村民都一致认为这些好事都是白玫带来的好运。正月，白玫终于要生产了，生产并不顺利，但最终医生还是用夹子将婴儿顺利产出，是一名健康的男婴。
日子一天天过，身边依偎著一个孩子的白玫也思念起个性憨厚的渔人。某日她携子搭乘火车经海岸线前往渔港，欲看看孩子的爸。搭车时，一位女士主动让位给她们母子坐，让此时的白玫感受到无比的温暖...

许毅生，一位50年代参与政治读书会而被判无期徒刑的老人，在当年抓人过程中出卖好友陈政一，以致陈被，枪决而下落不明。许关满16年出狱后，因愧疚而自囚于养老院10多年。他搬回女儿秀琴家中后，开始一一探访难友。此时，秀琴之夫因贿选而遭羁押禁见，秀琴情绪终于爆发，重提父亲因政治而被判终身狱，与母亲离婚，导致母亲自杀，秀琴自小孤苦伶仃。许对女儿的责难，无言以对。之后许终于寻获陈之墓地，跪拜烧冥纸求恕后，返回家中已心力交瘁，入门即累倒在地，秀琴扶老父入房，无意中翻见桌上日记，始体会父亲多年来对老友、妻女之愧歉，望见床上奄奄一息老父……

叶湘伦（周杰伦 饰）是淡江艺术高中的一名插班生，父亲（黄秋生 饰）是该校的一名教师。这天同学晴依（曾恺玹 饰）带他参观学校，接着他独自来到了学校的旧琴房，本身弹得一首好曲的他被某处传来的一首钢琴曲吸引住了。他来到其中一间旧琴房，遇到了路小雨（桂纶镁 饰），纯纯的爱情故事由此发生了。一直以来，叶湘伦都觉得小雨充满了神秘，却无法进一步了解她。叶湘伦约小雨到琴房见面，叶湘伦以为晴依是小雨，跟晴依接吻时被小雨看到，自此之后叶湘伦就没有再看到小雨。叶湘伦到处寻找小雨，发现了那个小雨所说“不能说的秘密”的全部真相。