这本书是陈丹青纽约生涯的结账，初事写作的开端……他的生活因这本书从此转向，出现新地带。和其它几本书相比，陈丹青说“这本书不越界、没脾气，聊聊纽约、谈谈艺术，自然显得雅，而久在域外，所谓生活积累比较厚，要论写作的闲静与专注，也确是这本书”。初版分为两册，下册多是访谈、杂稿，修订版全部删除。

《退步集》是陈丹青归国五年来部分文字的结集，三十余篇文章，话题兼及绘画、影像、城市、教育诸方面，自云“退步”，语涉双关，也可理解为对百年中国人文艺术领域种种“进步观”的省思和追问。