طرح و سبک معماری قلعه بر اساس اصول معماری قدیم، با در نظر گرفتن مکان‌های مخصوص زندگی و سکونت سران قوم، رعیت‌ها و همچنین در نظر گرفتن جایگاه مخصوص نگهداری احشام است.
معماری زیبا و گچ‌بری و مِقرنس‌کاری حاشیه سردر اطاق‌ها و حتی سقف اطاق‌ها و دیگر تزئینات به‌کار گرفته شده کلاً استادانه و با مهارت انجام گردیده که در خور تحسین و جالب توجه است. به‌طوری‌که بعد از گذشت سال‌ها هنوز تعدادی از درب‌های چوبی قدیم که با دقت و ظرافت و از بهترین نوع چوب ساخته شده‌اند، موجود و سالم مانده است.
وجود چنین قلعه‌ای در یزدانآباد نشانه ازدیاد جمعیت و قدمت تاریخی آن ناحیه در گذشته است. باغچه نسبتاً بزرگی در وسط حیاط قلعه قرار گرفته و چند درخت قدیمی دارد که به سرسبزی و زیبایی حیاط قلعه افزوده است.
زیبائی، وسعت، ازدیاد جایگاه‌ها و مکان‌ها، سالم‌بودن و نیز سابقه دیرینه قلعه و چهار برج شاهرخ‌خان باعث شده تا بسیاری از دانشجویان رشته معماری سنتی ضمن بازدید و مطالعه و تهیه پلان، پایان‌نامه‌های تحصیلی خود را از این قلعه انتخاب کنند.
در سال ۸۱ دو دانشجوی رشته معماری پلان زیبائی را از قلعه مذکور برداشت و تهیه کرده‌اند که در صفحه ۲۳۲ کتاب تاریخ از زراوند تا زرند تألیف مرحوم حسن سهرابیزرندی چاپ شده‌است.
سالمندان بخش یزدانآباد به خصوص حاج اصغرخان سیفالدینی که یکی از معتمدین منطقه مذکور بوده در ارتباط با احداث قلعه و چهار برج یزدانآباد به نقل از اجداد خود چنین یادآور شده است: «ابتدا ساختمان‌های قلعه ساخته شده و چون خبری از دزدی و چپاول نبود مردم با خیال راحت و امنیت خاطر زندگی می‌کردند. بعد از گذشت سال‌ها خبر آوردند که دزدان و راهزنان از حوالی شیراز به شهرها و روستاها حمله می‌کنند و مال مردم را به غارت می‌برند. بعد از پخش این خبر مرحوم شاهرخ‌خان که یکی از مالکین عمده یزدانآباد بود برای حفظ جان خود و خانواده‌اش و نیز مردم آن ناحیه، دستور می‌دهد تا به‌منظور دیده‌بانی و مراقبت از آن روستا چهار برج در چهار گوشه قلعه بسازند. در مدت پنجاه روز چهار برج که مخصوص دیده‌بانی و اطلاع نگهبانان برج، از حمله احتمالی راهزنان بود؛ ساخته می‌شود.»
مرحوم شاهرخ خان برای اطمینان، پس از تحقیق برای ساختن برج‌ها از مرحوم سلمان و پسرش مرحوم کربلائی غلامحسین برهانی زرندی که از معماران با تجربه سُنتی بوده‌اند دعوت می‌کند که پس از پنجاه روز برج‌ها را به شکل زیبائی می‌سازند
به لحاظ مهارت در ساخت برج‌ها و نیز به‌کارگرفتن مصالح خوب، حوادث طبیعی به خصوص زلزله‌های اسفند ۸۳ و اردیبهشت ۸۵ قادر به آسیب‌رساندن به برج‌ها نبودند. البته سالمندان یزدانآباد قدمت برج‌ها را بین ۲۰۰ تا ۲۲۰ سال قبل می‌دانند.
از آنجائی‌که چهار برج شاهرخ خان موقوفاتی دارد، سال‌ها تولیت آن به عهده حاج عزتاله خان سیفالدینی بوده که همه ساله در ماه محرم در محوطه چهاربرج عزاداری کرده‌اند.
این بنا هم از داخل آن و هم نمای خارجی آن بسیار زیبا و دیدنی است.
مجموعه آثار باستانی یزدان آباد سال‌ها مورد توجه میراث فرهنگی صنایع دستی و گردشگری استان بوده. به‌طوری‌که چهاربرج شاهرخ خان در ردیف آثار با ارزش باستانی استان به ثبت رسیده است.