Согласно местным преданиям, полуподземные дома впервые были построены в этих местах в римскую эпоху, когда римляне направили в этот регион два египетских племени с правом поселиться здесь и убивать любого, кого они встретят на пути. Местным жителям пришлось покинуть места своего обитания и вырыть пещеры, чтобы спрятаться от захватчиков, однако по ночам они покидали свои жилища, чтобы нападать на чужеземцев. Поселения сохранились до настоящего времени и широкую известность получили только в 1967 году.
Часть местных жителей живут в традиционных полуподземных жилищах в виде глубоких землянок, выкопанных в местном твёрдом грунте. Вокруг каждой землянки затем выкапывались искусственные пещеры, служившие комнатами и соединённые рвами-коридорами.
Условия жизни в Матмате были тяжёлыми. Поскольку Тунис известен крупномасштабным производством оливкового масла, каждой весной с началом оливкового сезона мужчины из Матматы отправлялись на север в поисках работы и возвращались осенью по окончании сезона. Обычно они получали плату оливковым маслом, которое они позднее обменивали на другие товары (сейчас — обычно продают за деньги), и таким образом обеспечивали себе продукты, одежду и другие необходимые вещи.