نتوانست در آن مقام دوام نمايد و به تهران آمد و استعفا داد ، در تهران شخص محترمى از دوستانش به ايشان ايراد كرد كه شما با آن متانت و عشق به كار چرا از مأموريتى كه ميرزا حسين خان مشير الدوله را صاحب آلاف و الوف كرد ، استعفا كرده نتوانستيد سفارت را اداره نموده و استفاده بكنيد ؟ حسنعلى خان جواب داد :
از بس سلف من به عموم ناس از درباريان و ادارات دولت عثمانى دروغ گفته بود و دروغگويى از من ساخته نبود ، زيست در آن پايتخت را از قوهء خود خارج ديده نتوانستم در آنجا بمانم .
در مقايسهء زندگانى و خدمت مرحوم حاجى ميرزا حسين خان سپهسالار و مرحوم حسنعلى خان اميرنظام گروسى كه هردو در يك عصر و زمان - يكى در كشور عثمانى و آن ديگرى در فرانسه مأموريت داشتند - اين شعر به خاطرم رسيد :
دانهء فلفل سياه و خال مهرويان سياه * هردو جانسوزند اما اين كجا و آن كجا
شرح زندگى ميرزا حسين خان سپهسالار
مرحوم ميرزا حسين خان فرزند مرحوم ميرزا نبى خان قزوينى چندى در زمان سلطنت مرحوم محمد شاه وزير عدليه گشت و بعد حاجى ميرزا آقاسى صدراعظم ايشان را به حكومت اصفهان فرستاد و بعد به واسطهء نرساندن اقساط ماليات معزول و در تهران دعوت حق را لبيك گفت و دارايى او را ديوان در عوض ماليات ضبط نمود . ولى باز هم مبلغى باقىدار بود و ديوان از اولادش كه يكى همين مرحوم ميرزا حسين خان و ديگرى نصر الله خان نصر الملك و ميرزا عبد الله خان علاء الملك و يحيى خان بودند مطالبه مىنمود .
پس از فوت محمد شاه حاجى ميرزا آقاسى در حضرت عبد العظيم بستى گشت و مدتى در آنجا خائف بماند تا اينكه ناصر الدين شاه به تخت سلطنت نشست و مرحوم ميرزا تقى خان امير اتابك به صدارت رسيد .
چون مرحوم حاجى ميرزا آقاسى بلاعقب بود تمام دارايى و ماليهء خود را به شاه هبه نموده بود . مرحوم شادروان اميركبير به حاجى اطمينان داده او را روانهء عتبات - مثل تبعيد - نمود و حاجى در اماكن مشرفهء عتبات مرحوم گشت .