مخالفت با تشكيل حزب جديد بعد ساعت دو و ربع بيرون آمده به منزل خلخالى رفته ، افجه‌اى آنجا بود . بعد از قدرى نشستن و چايى خوردن افجه‌اى هم اجاره‌نامه يك ده كه از دولت يا غيره مىخواست اجاره نمايد مىخواند . بعد خلخالى اظهار كرد كه من شما را دعوت كردم كه از شما بپرسم بايد كارى كرد يا آن‌كه همين قسم متفرق بمانيم ؟ چون من شرط كرده بودم تا كارى خودم به قوه خودم نگيرم داخل در جمعيتى و سياستى نشوم حالا چون شغلى خودم گرفتم ديگر مانعى ندارم و حالا هرچه فكر مىكنم غير از چند نفرى از شماها كه اسامى آن‌ها را نوشتم به نظرم با اشخاص ديگر نمىتوانم كار بكنم . حالا ما سه نفرى از همه نزديك‌تر هستيم و آن اسامى كه امروز نظرم آمده اين‌ها است . صورتى نشان داد بدين‌ترتيب : آقاى كمره‌اى ، آقاى افجه‌اى ، علىزاده ، عز الملك ، شيخ محمد بروجردى ، ميرزا صادق خان بروجردى ، ميرزا داود خان ، آقا ميرزا خليل ، عين الممالك ، مميززاده ، ميرزا على آقاى يزدى ، حاج ميرزا عبد الله ، آقاى بينش ، ميرزا عيسى خان برادر اقتدار ، حكيم الملك . من گفتم من ديگر در مركز و موسس نخواهم واقع شد . شماها با اين‌ها و ساير آقايان مشغول ترتيب بشويد ، من در مراتب بعد جزو تابعين و مقلدين خواهم بود . بالاخره خلخالى گفت اگر دو نفر از آقايان مثل مساوات و آقا سيد جليل بودند من خودم همه اين چرخ‌ها را راه مىانداختم . گفتم عجالتا آقا ميرزا طاهر و آقا مير سيد محمد خان دكتر هستند . آن‌ها را هم وعده بگيريد و به غير از من همه حاضرند كه در به دو باشند . گفت آقا ميرزا طاهر كارى نيست و فقط به سليمان ميرزا اعتقاد دارد ، اگرچه سليمان ميرزا ابدا به او سرّى نمىگويد و ليكن كارى نيست . من گفتم اگر دسته‌بندى است ، دسته‌بندى براى شما بالاخره مغلوبيت آوراست و اگر حزبى است همه را دعوت و از روى اساس صحيح اداره‌بندى حزبى را بكنيد ، چه فاسد ، چه صحيح . حزب نمىشود كه به اشخاص اخلاقى صورت يابد . بالاخره به اصرار قرار شد پس‌فرداى سه‌شنبه بعد از ظهر بروم آنجا ، افجه‌اى هم بيايد . حال كابينه با شاه بعد صحبت كابينه شد كه چه خبر داريد ؟ گفتم خبرى ندارم . گفت ديروز شاه صمصام را خواسته بود و گفته بود به واسطه مستشار الدوله احمق و ميرزا