تاريخ ساخت اين باغ را به دروه سلجوقيان نسبت داده اند چرا كه در آن زمان، باغ تخت و چند باغ ديگر توسط اتابک قراجه حكمران فارس - كه از سوی سنجر شاه سلجوقی به حكومت فارس منصوب شده بود، احداث شد و احتمال ايجاد اين باغ به درخواست وی و در آن زمان، زياد است. هم چنين احتمال می رود كه اين باغ در زمان كريم خان زند مرمت شده باشد.اين باغ در شمال باختری شيراز و در انتهای خيابان ارم قرار گرفته است. اين باغ به مناسبت عمارت و باغ بزرگی كه در گذشته توسط شدادبن عاد پادشاه عربستان به رقابت با بهشت ساخته شده و ارم ناميده شده بود، به باغ ارم مشهور گرديده است.