اگرچه آزادسازی این بنای ارزشمند تاریخی در هزار توی بروکراسیهای اداری گیر افتاد و مدتها به درازا کشید، اما همان دستور اولیه، بستر را برای باز شدن یک گره چند دههای در شهر سمنان آماده کرد. بهمن ماه ۱۳۹۹ رئیس وقت قوه قضائیه در بازدید از کاروانسرای شاهعباسی دستور داد که این مکان تاریخی که برای بیش از ۴۰ سال از آن بهعنوان زندان سمنان استفاده میشد، آزادسازی و به یک مرکز فرهنگی تبدیل شود.
شهید آیتالله رئیسی در آن بازدید به رئیس سازمان زندانها دستور داد تا این بنای تاریخی را که در آن مقطع، یکی از املاک سازمان زندانهای کشور بود، برای تبدیل شدن به مرکز فرهنگی به شهرداری سمنان تحویل دهد تا مورد استفاده مردم قرار گیرد.
خادم الرضا شهید در پایان این بازدید خطاب به مسؤولان قضایی و اداره کل زندانها تاکید کرد: تا پایان همین سفر باید کارهای انتقال این کاروانسرا به شهرداری سمنان برای آغاز فرآیند مرمت آن شروع شود.
همین تاکید ویژه رئیس قوه قضاییه سبب شد به فاصله کوتاهی در همان سال، آیین تخریب نمادین بخشهایی از حصار بلند ساختهشده در اطراف این بنای تاریخی برگزار شود. اگرچه فرآیند آزادسازی این بنا در هزارتوی ضوابط اداری گیر افتاد، اما سرانجام در سال ۱۴۰۱ که آیتالله رئیسی ردای ریاست جمهوری را پوشیده بود، ۱۹ شهریور ۱۴۰۱ در مراسمی نمادین با حضور رئیس و اعضای شورای اسلامی شهر سمنان و جمعی از اصحاب رسانه و فعالان گردشگری، کلید کاروانسرای شاهعباسی سمنان به اداره کل میراث فرهنگی، گردشگری و صنایع دستی استان سمنان واگذار شد.
مدیرکل وقت میراث فرهنگی، گردشگری و صنایع دستی استان سمنان در آن مراسم، با قدردانی از آیتالله رئیسی که در زمان تصدی قوه قضائیه حکم به آزادسازی این بنای تاریخی داد، اظهار کرد: از تمام افرادی که زمینه تحقق آرزوی دیرینه مردم سمنان را فراهم کردند، تقدیر می کنم.
وی آزادسازی کاروانسرای تاریخی سمنان را مطالبه جدی مردم ارزیابی کرد و افزود: همراهی بین مردم و مسؤولان، زمینه تحقق این اقدام را فراهم کرد.
به هر رو، همه کارشناسان باور داشتند که با انتقال زندان سمنان از این کاروانس