契丹统和十四年（996年），由阿拉伯筛海那鲁定来南京，建寺于南郊，柳河村岗上，即牛街清真寺。该寺主要建筑有礼拜殿，又称窑殿、梆歌楼、碑亭、望月楼、客厅（又称七间房）等。礼拜殿是全寺的主体建筑，座西朝东，可容千人同时在此礼拜。殿西部是一座六角攒尖顶亭式建筑。殿内壁龛上满雕阿拉伯文和花朵，殿内西北侧有宣教台，是聚礼日或节日教长讲经的地方；梆歌楼是礼拜前在楼上向教民报告时间和召唤教民来做礼拜用的，因而又称宣礼楼或唤醒楼；礼拜殿月台两侧是对称的两座方形亭，亭内碑是明弘治九年（1496年）立；望月楼在寺前两门之中，呈六角形，是教民在开斋节前望月用的，是穆斯林礼拜寺中特有的建筑。        

  礼拜寺建筑布局规整，大殿古朴壮丽，所有主要建筑细部装饰都富有浓厚的阿拉伯装饰风格，极为精美。建国后接待诸多阿拉伯国家政要和友人来礼拜寺参观访问。