باغ ارم شیراز به طور مسلم از دوره سلجوقیان و در تمام دوره آل اینجو و آل مظفر و گورکانیان وجود داشته و با توجه به اینکه سیستم فئودالی به طور کامل بر جامعه آن دوره حاکم بوده بدون تردید بانیان و صاحبان باغ ارم که باغی ارزشمند بوده، در آن زمان حکام وقت بوده‌اند. احتمال می‌رود اتابک قراچه که از طرف سنجر سلجوقی به حکومت فارس منصوب بوده دستور احداث این باغ را داده باشد.
بعد از وی تا جلوس شاه شیخ ابواسحاق اینجو که احتمالاً باغ ارم را در تصدی داشت، اطلاعی از نحوه مالکیت این باغ در دست نیست. شاه شیخ ابواسحاق اینجو در سال 742 ه.ق جلوس نموده و در سال 757 ه.ق کشته شد. پس از انقراض سلسله آل اینجو به وسیله آل مظفر، احتمالاً باغ ارم به مالکیت سلاطین آل مظفر در آمده و در عهد شاه منصور آخرین پادشاه این خاندان که به دست گورکانیان کشته شد، باغ در نهایت آبادانی و شکوه بوده است. از عصر صفویه به بعد، باغ ارم در نوشته‌های جهانگردان، آباد و باشکوه توصیف شده است. در عهد کریم خان زند احتمالاً باغ ارم در مالکیت سران سلسله زندیه بوده و مانند سایر ابنیه و باغ های شیراز مرمت گردیده است.
از اواخر دوره زندیه تقریباً بیش از هفتاد و پنج سال باغ ارم در تصاحب سران ایل قشقایی بود. خاندان جانی خان قشقایی که از دوره فتحعلی شاه قاجار با سمت ایلخانی و ایل بیگی بر ایل قشقایی فرمانروایی می‌کردند، مدت مدیدی این باغ را در اختیار داشته و از آنجا به عنوان مقر فرمانفرمایی خود در شهر شیراز استفاده می‌کرده‌اند. نخستین ایلخان این خاندان یعنی جانی خان و پسرش محمد قلی خان عمارتی باشکوه در این باغ بنا نهادند. در اوایل دوره قاجاریه بعضی از سران ایل قشقایی که مالکین سابق باغ ارم بوده‌اند در گوشه‌ای از این باغ به خاک سپرده شده‌اند که در حال حاضر نشانی از این قبور در دست نیست. ساختمان عمارت این باغ در دوره ناصرالدین شاه قاجار هنوز مرغوب و قابل توجه بوده است. در دوره سلطنت ناصرالدین شاه، حاج نصیرالملک شیرازی باغ را از خاندان ایلخانی خریداری نموده و ساختمان فعلی موجود در باغ را به جای عمارت ایلخانی بنا نمود ولی احتمالاً اساس ساختمان قبلی را حفظ کرده است. پس از درگذشت حاج نصیرالملک در سال 1311 ه.ق تزئینات بنا و بعضی قسمت های ناتمام به وسیله ابوالقاسم خان نصیرالملک، مالک این باغ اتمام یافته است.
در آن زمان توصیفی توسط فرصت‌الدوله شیرازی راجع به این باغ داده شده که به شرح زیر می‌باشد: "... بستانی است بی مثال و گلشنی است بهشت تمثال ...، سروهایش سر به افلاک کشیده، عماراتی دارد شاهانه مشتمل بر تالاری که به واسطه دو ستون قوی پیکر برپاست و ارسی‌ها، گوشواره‌ها و اتاق ها و رواق های دیگر را از فوقانی و تحتانی داراست. آبشارهای متعدده از هر جانب آن روان است و سبزه‌های اطراف جویش چون خط بر گرد عارض نوش لبان. بنای اول آن را محمد قلی خان ایلخانی نهاده سپس مرحوم حاجی نصیرالملک خریده و حکم به بنیاد عمارات مذکور داده. حاجی محمد حسن معمار... آن بنا را برآورده باغی دیگر برآن افزوده‌اند. آن نیز هوایش معطر است...، خلوتی دیگر دارد که نارنجستانش نام نهاده‌اند. باربند و کوشکی هم برای آن قرار داده‌اند."
دونالد ویلبر درباره باغ ارم شیراز چنین نگاشته است: "... برای مدت لااقل 75 سال این عمارت در تصاحب خان‌ها و یا سران قبیله قشقایی بود. همین ساختمان هسته مرکزی باغ به شمار می‌رود. در این موقع دیواری در وسط باغ احداث کردند و بدین ترتیب باغ به دو قسمت تقسیم گردید. باغ ارم محبوبیت فراوان خود را مدیون درختان مرکبات و خیابان طویلی است که در دو طرف آن سروهای باشکوه غرس گردیده و ساختمان جالب توجهی که شاهد مهمان نوازی بی دریغ ایل قشقایی بوده است. هرچند سال یک بار مقداری از درختان مرکبات بر اثر سرمای سخت از بین می‌روند درحالی که سروها در عرض پنجاه سال اخیر همچنان جذابیت خود را حفظ کرده‌اند ... ." در تهیه طرح باغ، محور طولانی آن مشخص گردیده است. امروز کوشک اصلی، هسته مرکزی این باغ و جالب‌توجه ترین جنبه آن را تشکیل می‌دهد. اطاق های طبقه زیرین تقریباً زیرزمین است و تالار مرکزی آن را برای استراحت در روزهای گرم تابستان در نظر گرفته‌اند
پروژه تاریخچه باغ ارم شیراز (word)