ولكن فيما بعد ، لسبب ما تراجعوا عن عقابهم بهذه الصورة ، وقرروا تأديبهم ومجازاتهم بصورة أخرى ، وذلك بأن يكونوا مهانين ومحقرين من قبل القبائل الأخرى ، وألا تضمهم أرض واحدة معها ، وألا يختلطوا بالقبائل الأخرى بالزواج وغيره ، وحتى إذا سكنوا في أرض قبيلة من القبائل عليهم أن يدفعوا لهم مقدارا من المال باسم الزكاة ، وأن يبدل اسم قبيلة عبس باسم هيتم الذي يعنى الذليل الحقير . ومن ذلك الوقت تراهم أذلاء ومهانين عند القبائل الأخرى وهم فعلا فقراء . وخلاصة القول أن القبائل الأخرى تنظر إليهم كنظرهم إلى الغجر . والقبائل التي توجد في الأقطار الحجازية من بطون بنى هيتم هي ( مهيمزان ، ذوو رشيد ، ذوو براك ، ونوامسة ، شرارات ، وهتمان . وتسكن قبيلة مهيمزان بين الحناكية القريبة من المدينة المنورة وكريزية ، وقبيلة ذوى رشيد في قرى حائط وحويط ، وأبو حبان ، وصحراء وادى رما وقبيلة ذوى براك في الصحارى الممتدة من جبل سراة إلى جبل شمر ، وقبيلتا النوامسة وشرارات تسكن حول قبائل عنزة وبعضها في أراضي جهينة ، والقبيلة الضخمة التي تسمى هتمان تسكن حوالي مكة المكرمة وفي داخل البلاد اليمنية .