محله چهار منار از محلات قديمي است. نام قديم آن موضع كوي بهروك بوده است وجه تسميه جديد آن به مناسبت وجود چهار منار دو مدرسه مقابل هم بوده كه به دستور شمس الدين محمد بن ركن الدين در سر كوچه بهروك ساخته شد (سال 728) و موجب آبادي اين محله گرديد. مسجد خضر شاهي مركب از ايوان و صحن تابستاني و گرم خانه از آثار سيد امير جلال الدين خضرشاه است و آغاز بناي آن سال 849 بوده و در زمان تأليف تاريخ جديد يزد هنوز به اتمام نرسيده بود.