建造土楼的客家人并不是少数民族。

福建土楼的形成与历史上中原汉人几次著名大迁徙相关。西晋永嘉年间即公元４世纪，北方战祸频仍，天灾肆虐，当地民众大举南迁，拉开了千百年来中原汉人不断举族迁徙入闽的序幕。进入闽南的中原移民与当地居民相互融合，形成了以闽南话为特征的福佬民系；辗转迁徙后经江西赣州进入闽西山区 的中原汉人则构成福建另一支重要民系——以客家话为特征的客家民系。

客家南迁史，实际上也是一部汉族南迁史。主要有五次南迁高潮：第一次 (317—879年)，起于西晋永嘉年间，不过这一时期移民到闽西南山区，为数尚少；第二次(880-1126年)，起于唐末黄巢事变，这一时期大量中原 家族涌入闽赣边界，以宁化石壁为中心的山地，为中原移民提供了一个相对安宁的环境，石壁成为客家的祖地；第三次(1127—1644年)，起于北宋末期金 人入侵，后又有蒙古族入主中原，闽赣边区的客家人口猛增，其中部分迁入广东和闽南的漳泉等地；第四次(1645-1867年)，起于明未清兵南进，客家早 期开发地区人口膨胀，不断向四周迁徙；第五次 (1867-民国初年)，太平天国失败后，广东客家向雷州半岛、海南岛迁移，或远徙海外。

中原汉族南迁主要以家族血缘群体为单位，整个过程是持续不断的，迁移地域渐次推移，客家文化正是在这迁移之中和定居之后，逐渐酝酿、形成和发展起来。作为客家文化的结晶，土楼并非横空出世，它的出现首先必须具备几个条件：强大的家族凝聚力、相对安宁的生活环境、较为雄厚的物质基础。

从烽火连天的中原南迁定居之后，客家先民拥有了一片宁静的天空。经过几代人的繁衍和拓展，客家人口迅猛增长，也积累了不少财物。只有在这时候，他们才有可能考虑，如何以血缘聚居的模式建造一座巨宅。

客家来自中原。客家土楼的造型艺术和夯土技术，无疑也是来源于中原。在西安半坡村和临潼姜家寨等原始氏族社会的遗址上，可以发现土楼造型艺术的原始形式，在黄河中下游龙山文化父系氏族公社时期的遗址上，也有大量的圆形与方形的建筑。随着私有制的形成和家族的壮大，开始形成一种“制 如明堂”的建筑，明堂是中国传统民居“四架三间”造型的源头，而五凤楼的基本构成，正是“四架三间”。夯土技术何时在中国出现，尚难定论，但是在距今五六千年的古文化遗址，已经可以看到夯土台实物。商朝的夯土技术相当发达，奴隶主的宫室、陵墓和城墙，台基都是夯土而成的，历代的筑城、筑堤坝和建房，都广泛使用夯土。到了北宋，夯土技术又有了进一步的提高，在当时最权威的建筑工程技术专著《营造法式》和《筑城法式》里，都对夯土技术做了记述。自明朝以来，夯土而成的民居，在全国各地普遍出现，土楼只不过是其中把夯土技术推向登峰造极的一种民居。
 
当然，土楼的造型艺术和夯土技术在传承的过程中，发生了变异，这也是每一种文化传播必然遇到的正常现象，人类学家认为，“文化的变异是一种适应性变化，并且是通过世袭遗传的基础进行的”。客家人在闽西南山区建造土楼，正是适应了当地的自然地理特点。