وكان الشيخ شمس الدين محمد ابن النّقّاش له أيضا بالسّلطان خصوصية واستأذنه في إحضار الشيخ سراج الدين عمر الهندي معه فأذن له وصارا يلازمان السّلطان ، فشقّ ذلك على قاضي القضاة عزّ الدين ابن جماعة وعلى زوج ابنته قاضي القضاة جمال الدين عبد اللّه التّركماني الحنفي وتخيّلا منهما ، وكان الهرماس مع ذلك صديقا لابن جماعة وهو يحبّ الانفراد بالسّلطان ، فنافر السّراج الهندي وما زال بقاضي القضاة جمال الدين الحنفي حتى عزله من نيابة الحكم ، وكان ينوب عنه ، وهجره مع ذلك فأعرض عنه فقهاء الحنفية رعاية لقاضيهم .
ثم التفت إلى ابن النّقّاش فطلبه ابن جماعة بإشارة الهرماس وادّعى عليه زين الدين عبد الرحيم العراقي أنه يفتي بغير مذهب الشافعي ، فمنع من الإفتاء ومن عمل الميعاد من صدره بعد ما حبس ، فتباعد ما بين ابن النّقّاش وبين الهرماس وأخذ يغري السّلطان بالهرماس ، وكان الأمير عزّ الدين أزدمر الخازندار يعنى به ، فاتفق إخراجه إلى الشام فانحطّ قدره وخرج إلى مكة صحبة الرّجبية في سنة ستين ، فانفرد ابن النّقّاش والهندي بالسّلطان ، وقام ابن النّقّاش بأعباء المباعدة بين الهرماس وبين السّلطان حتى تمّ مراده ، وقدم الهرماس من الحجّ في محرم سنة إحدى وستين فمنع من الدّخول على السّلطان ، ثم ركب السّلطان من قلعة الجبل وزار أباه وجدّه بالقبّة المنصورية وركب منها ومعه ابن النّقّاش والهندي إلى دار الهرماس بجوار الجامع الحاكمي وأمر بهدمها ومضى فهدمت في الحال وقبض الأمير شرف الدين موسى ابن الأزكشي عليه وعلى ولده وعرّاه وضربه بالمقارع عشرة شيوب ، وداره تهدم وهو يشاهدها ، ثم أخرجه منفيا إلى مصياف من بلاد الشام ، فقال فيه العلّامة شمس الدين محمد بن عبد الرحمن ابن الصّائغ الحنفي :
نال هرماس الخسارة * من بعد ربح وتجارة
حسب البهتان يبقى * أخرب اللّه دياره