始兴人颇具土著特色的客家人，其住房富有客家人的特色，每一村中心都设祖堂，俗称大厅。祖堂首进为大厅，大门两侧为民房；二进为中厅，是村人活动，聚会和筹办红白喜事的场所；三进为上厅，是摆放村中始祖及各房系祖宗神位的祖堂；四进为大厅背，是村绅耆商议事情及宴请之所。

民宅沿大厅左，右，后三侧兴建，邻大厅各侧首座高度低于大厅，以后次第增高。各房厅堂为前后厅居中，厅内设门入两侧卧室，大的两厅六房，小的两厅四房。房皆两层，有楼梯上楼，前厅楼高于其他楼。厅正中近檐墙处天窗，放明瓦透光。厕所猪牛圈设在外边缘，矮小无楼。

清末民初，为防兵匪祸害，各村纷纷建围楼，又称炮楼，堪称“有村必有围，无围不成村”。最大的是隘子镇满堂大围，占地万多平方米，最小的为十多平方米。形状有长方形，方形，椭圆形，设计有围包屋式，外围内村庄，围楼式等等。现始兴境内保存较为完好的围楼有185座。

改革开放以来，人民生活水平迅速提高，村村以共建奔康房为荣，纷纷建起了以河石或青红砖砌全墙，顶层作晒衣服的钢筋水泥楼面的住房。