伊斯兰教初兴时，未有专门礼拜的场所，只是选择一洁净之处供叩拜之用。622年9月，伊斯兰教先知穆罕默德迁徙麦地那时，在城东南3公里处的库巴，修建了第一座简易的库巴清真寺。到达麦地那后，才建造一座正式的清真寺，后称“先知寺”，营建时穆罕默德亲自参加劳动，随后率众在寺内礼拜。637年，第二任哈里发欧麦尔下令远征将领，凡开拓一个新地区，首先要在该地兴建清真寺，作为宗教活动的中心。据此，欧太白·伊本·盖兹旺于637～638年在伊拉克巴士拉兴建了第一座营地清真寺，638～639年，赛尔德·伊本·艾比·瓦戛斯在库法城兴建了清真寺，642年阿慕尔·本·阿斯在埃及弗斯塔特(开罗)兴建了非洲大陆第一座清真寺;670～675年欧格白·本，纳菲尔在突尼斯凯鲁万兴建了欧格白清真寺。
从此，兴建清真寺被视为穆斯林神圣的宗教义务和信仰虔诚的体现，哪里有穆斯林，那里就建有清真寺。后历经伍麦叶王朝(661～750)和阿拔斯王朝(750～1258)，政府拨巨资修建规模宏伟和华丽壮观的寺院群体建筑，使清真寺遍布亚、非、欧各地。据历史学家伊本·拉斯塔统计，891年仅巴格达地区就有清真寺3万多座。12世纪中期到13世纪初期，埃及亚历山大城及周围地区有l万多座清真寺，致使阿拔斯王朝时期成为清真寺建筑的鼎盛时期。此后伊斯兰国家将兴建清真寺作为宗教制度和国策之一。
