وأخوه يوسف بن إدريس الخرمي الهروي ، روى عن أحمد بن بكر ابن سيف المروزي . والخرمي نسبة أيضا إلى الخرمية أصحاب التناسخ والإباحة . قال : و [ الحرمي ] بالإهمال والحركة : أبو الحسن علي بن أحمد بن إبراهيم بن الشيخ الحرمي ، عن الحسن بن محمد بن عثمان الفسوي ، وعنه أبو علي الوخشي ، جاور بالحرم ، فنسب إليه . قلت : كذا وجدته بخط المصنف عن الحسن ، وهو وهم ، إنما هو الحسين بالتصغير ، كذا ذكره أبو العلاء الفرضي ، والنسبة عند أئمة اللغويين إلى الحرام : حرمي ، بكسر أوله ، وسكون ثانيه ، وذكر الخليل الحرم ، وقال : ينسب إليه حرمي ، وغير الناس حرمي . وقال ابن دريد : ورجل حرمي منسوب إلى الحرم . قال الشاعر : لقول حرمية قالت وقد ظعنوا * هل في مخفيكم من يشتري أدما قاله في « الجمهرة » ، وذكر غيره أنه يقال فيه أيضا : حرمي ، بالضم مع السكون ، كأنهم نظروا إلى حرمة البيت . انتهى .