本书借助考古资料和考古学研究成果，结合志书和古文献，借助相关学科的知识和研究成果，复原先秦两汉时期岭南的社会与文化。全书并不强求研究历史的方方面面，着力追求所涉及方面的历史客观性。具体内容包括：第一编：先秦岭南各个历史阶段的生业复原研究。旨在阐述生产方式乃人们有效地适应自然环境的本质。第二编：先秦岭南文明化进程。旨在阐述生产方式依次更迭的过程与动因，以及蕴含其中的文化特质，并总结性地论证自然环境、文化特质和社会变革的关系。第三编：秦汉时期的岭南社会与文化。旨在阐述当岭南区域文化业已积淀基本成型时，与强大的中原文化发生撞击、交融的历史实际以及岭南文化最终形成的过程和动因。

《赤雅》被誉为明代的《山海经》，可与《西京杂记》媲美。这是一部汇集几千年南方少数民族民间传说的奇书，一部民族文学与汉文学互相影响、互相渗透、互相融合的结晶。
《赤雅》一书，凡三卷。赤谓南方，本为火的颜色，表示炎热，《宋书·符瑞志上》云：“有景云之瑞，有赤方气与青方气相连。”赤方即南方，雅即雅言，“子所雅言，诗、书、执礼，皆雅言也。”（注：《论语·述而》。）指规范的语言，后称注疏、训诂为雅，故有《尔雅》、《广雅》诸书。由此可知，《赤雅》意为对南方风物的记叙、注疏、训诂，也就是对南方风物的叙述和诠释。
《赤雅》全书的197条中，竟有140多条包含有神话、传说、故事，这些传说故事绝大部分为少数民族民间传说，少数为中原文士或官吏与南方少数民族山水风情相关的传说故事。这其中有的条目本身就是一则传说，有的则作为叙述的一部分融在其中。
《赤雅》因迷于奇闻，民间传说占了很大的比重，举凡人物史事传说、山川地域传说、文物古迹传说、物产传说、民族习俗传说，书中悉录。
卷三是全书最多的部分，多达80多条。它包括鸟、兽、虫蛇、鱼、特产、文物、古迹、瘴及一些杂记，而以物产为主。鸟类中涉及到传说中的六种凤凰、鹩、鸩、王母、天鸡、深掘等珍禽，皆不多见。兽类中有猩猩、狒狒、子路（熊）、牛、肉翅虎、祸斗、白貘、懒妇等异兽，单是从名称上看，多为珍奇。蛇类既有现实中存在的蚺蛇、青蛇、赤蛇、白蛇、乌蛇，也有传说中的王虺、青蛇使者。鱼类中之驯龙、印鱼、鬼鱼、忽雷，也不多见。文物古迹中的赵臣庙、马林铜柱、伏波铜船、飞来钟、飞来莲、绿珠玉笛、西岳真迹。