از زن اولش بنام بالا خانم كه هنگام اقامت در تبريز گرفت ، يك پسر داشت بنام ميرزا محمد على خان ميرپنج كه سالها رئيس تلگرافخانهء سمنان بود . و يك دختر داشت بنام نصرت بيگم كه به عقد ازدواج پسر عمه‌اش ميرزا مهديخان بصير السلطنه رئيس تلگرافخانهء شاهرود درآمد . از زن دومش شاهزاده خانم بىبى جهان هشت فرزند بهمرسانيد كه فقط چهار نفر از آنان به ثمر رسيدند . اولى ميرزا حسينخان محمودى ملقب به اعتصام الملك ثانى ( 1286 - 1355 ق ) در ابتداى ورود به خدمت وزارت امور خارجه ، منشى ادارهء تحريرات انگليس شد . بعد به معاونت جنرال كنسولگرى قفقاز منصوب گرديد و به تفليس رفت . هنگام فوت پدر به تهران آمد و تا سال 1317 ق در تهران اقامت داشت . در اواسط اين سال كارگزار خواف گرديد كه مركزش در تربت حيدريه بود . پس از دو سال كارگزار سرخس گرديد . در سال 1333 ق كارگزار بيرجند شد . پس از چندى كارگزار دزداب ( زاهدان ) شد و تا زمان بازنشستگى در اين سمت باقى بود . دومى ميرزا ابو الحسنخان خانلرى ملقب به اعتصام الممالك . ( 1288 - 1349 ق ) پس از تحصيلات مقدماتى به مدرسهء دار الفنون رفت و رشتهء طب را انتخاب كرد . ولى بنا به امر پدرش از اين رشته صرف‌نظر كرده به تحصيل حقوق پرداخت . بدوا در وزارت عدليه وارد خدمت دولت شد ، سپس به وزارت امور خارجه منتقل گرديد . سال 1316 ق در سن بيست و هشت سالگى از طرف وزارت امور خارجه مأمور سفارت ايران در روسيه شد و به پترزبورگ رفت . مدت ده سال به سمتهاى مختلف در تفليس و پترزبورگ خدمت كرد و به نيابت سفارت نيز نائل آمد . در مدت اقامت در روسيه به زبان روسى كاملا مسلط گرديد و زبان انگليسى و فرانسه را به خوبى آموخت . در سال 1326 ق به ايران فراخوانده شد . هنگاميكه به رشت رسيد ، قضيهء توپ بستن مجلس شوراى ملى از طرف محمد على شاه پيش آمد و راهها مسدود شد . ناچار در رشت بيكار ماند . براى رفع بيكارى ، مدرسه‌اى تأسيس