بناي مسجد زماني كه بنياد نخستين آن توسط علاءالدوله گرشاسب گذاشته شد در ميان شهرستان يعني در داخل حصار قديم قرار داشت. به تدريج در وضع آن، خواه از لحاظ الحاق قسمت ها و ابنيه جديد و خواه از نظر مرمت و تجديد بنا و یا از نظر كاشي كاري و تزیینات الحاق دخل و تصرفاتي حادث شد.باني مسجد قديم گرشاسب بن علي بن فرامرز بن علاء الدوله كالنجار از دوده كاكوییان يعني از دودمان آل بويه است. پس از بناي اصلي مسجد قديم بناي ديگري در همان قرن در محوطه مسجد به وجود آمده كه جماعت خانه ای است كه دختران فرامرز بن علي از خاندان كاكویی بنا كردند. از قسمت هاي ديگر مسجد قديم دو غرفه است يكي از غرفه‌ها را امير شمس‌الدين قاضي ساخته و ديگري را امير بلغدر كه از حكام يزد است كه در عهد غازان خان بدين سمت گمارده شد.