تكن له إلّا أخت واحدة شقيقة من الزوجة الأولى ، وأبناء عمومته وقد نشبت بينه وبينهم خلافات بعد موت والده ، فاستحوذوا على المصنع وأخرجوه من أملاك والده . عاش محمود الفترة الأولى من حياته حتى سن الثانية عشرة في رعاية والده ؛ وقد وصف بأنه مثقف فنان حيث كان يحضّه على التعلم ، وأرسل به إلى الكتاب وهو صغير لحفظ القرآن والاندماج في أجواء العلم . وفي كلّ مساء كان الوالد يقيم حفلات شعبيّة يحضرها العازفون والمغنون والمنشدون الشعبيون في مصنعه ، ويجلس ابنه إلى جانبه لإنشائه على التذوق الفني وتهذيب أذنه وتدريبه على الإصغاء والتمثّل وحفظ الأدب الشعبي . وما إن توفي الوالد الفنان حتى وجد بيرم نفسه في مهب الرّيح سيما وقد زاد هذه الوحشة قتامة رحيل الوالدة بعد خمس سنوات من غياب الوالد ممّا أظلم الحياة أمامه . وابتدأت حياة الضياع ، « فقد انتقلت للإقامة مع أختي لأبي المتزوجة من خالي ، وكانت تعد علي الأنفاس والحركات والسكنات ، وتضيق ذرعا بأي خدمة لي » [ مذكراتي ، 24 ] . أجبرت الحياة بيرم وهو في سن المراهقة على ممارسة أعمال يدوية مختلفة : مهنة النجارة في محل المعلم ( شريدي ) ، فتح محل للبقالة بما آل اليه من إرث والده ، بيع صفائح السّمن ، مشاركة أحد الصيادين في صيد السمك وبيعه . . . وإذن فإن بيرم لم يتلقّ تعليما منظّما عدا التردد على الكتاب وهو صغير السن وما حدث له مع مؤدب الكتّاب جعله ينفر من الكتّاب ويهجره قبل أن يتم حفظ القرآن الكريم . . . إنما اكتسب ثقافته بجهده الشخصي وعصاميته الفذة وإدمان المطالعة ، والتردد على مكتبات الإسكندرية العامة ، ومقهى بلبل بحي السيالة ، ومسجد المرسي أبي العباس ، حيث كان التباري والتنافس على الخطابة وارتجال الشعر . وهكذا تخلقت عبقرية بيرم ، من استظهار القرآن الكريم ، وما وعاه من كتب التراث العربي ، التي كان يحفط بعضها عن ظهر قلب ، ومن استيعابه دواوين شعراء العربية في مختلف العصور ، ممّا أكسبه قدرة خارقة على الإلمام بالعربية من كلّ أطرافها ومستوياتها وتطويعها بسهولة نادرة . كما امتلك ناصية اللهجة العامية المصرية مما كان يسمعه في حلقات الإنشاد التي كان يعقدها والده في مصنعه ، ومن الحواري والشوارع ومن أفواه الباعة الذين اختلط بهم وأناشيد الصيادين وقد كان واحدا منهم . آنس بيرم منذ حداثة سنه في نفسه القدرة على الكتابة بأسلوب لم تألفه الصحافة ولا القراء ، فكان ظهوره مبهرا ومثيرا للاهتمام ، وفوجئت الصحافة والوسط الأدبي والسياسي بظاهرة هذا الشاعر الجديد الذي يكتب شعرا فصيحا بلغة بسيطة وفي موضوعات حساسة وشديدة الأهمية وبالغة الجرأة ، فضلا عن الأسلوب الساخر الذي توخاه الشاعر ليتفرد به عن سائر الشعراء الآخرين ، وليكون أداته الخاصة للنفاذ في مشاعر الناس ، والاستحواذ على اهتماماتهم . بدأ بيرم بنشر أشعاره سنة 1916 في جريدة « الأهالي » ، وكانت قصيدته « المجلس البلدي »