قاسى الفنان عبد الغني السيد في طفولته، بعد انتقاله للعيش مع أبيه وزوجته، نظرا لانفصال والديه عن بعضهما البعض.
وقال الكاتب الصحفي طاهر البهي، في فيديو عبر قناته على Youtube إن عبد الغني السيد تعرض لأسوأ معاملة على يد زوجة أبيه، التي كانت تحرقه بالنار وتصب على جسده الماء الساخن، ربما لعدم حبها لإقامته معها.
وكان عبد الغني السيد، يعاون والده في عمله بصناعة الموبيليا، صباحًا وعندما يعود للمنزل في المساء، بدأ الأب يلاحظ عليه علامات الخوف والحزن أثناء نومه، فقرر الأب أن يمارس خدعة بسيطة للاطمئنان على حالة ابنه وحياته مع زوجة أبيه، فأخبرها أنه سيسافر لفترة، ثم عاد فجأة إلى المنزل ليرى ابنه منزويًا في ركن من أركان المنزل يبكي وجلبابه ملتصق بجسه على إثر الماء الساخن الذي اكتوى به، وقرر والد عبد الغني السيد، إنهاء علاقته بزوجته والعودة إلى والدة عبد الغني بعد هذه الحادثة.
بالصدفة سمع زكي مراد والد الفنانين ليلى ومنير مراد، صوت عبد الغني السيد وهو يدندن أثناء عمله في ورشة والده، فقرر أن يأخذه للعيش في منزله وتدريبه، حتى حقق نجاحا وذاع صيته.
ونشأت صداقة كبيرة بين عبد الغني السيد والموسيقار محمد عبد الوهاب، بسبب موهبة التقليد التي تمتع بها عبد الغني، وفي بعض الأحيان كان يستخدمه لتقليد بعض المواهب الحديثة وتقييمها.
تزوج السيد من ابنة وزير في العصر الملكي، بعد قصة حب نشات بينهما، تاركا زوجته الأولى وابنتيه، غير أن بعد أسبوع واحد من زواجه صدر مرسوم ملكي يلزمه بتطليق الفتاة ربيبة الطبقة الأرستقراطية بأمر من الملك فاروق.
ويقول طاهر البهي، إن هناك فنانة شهيرة كانت متزوجة من أحد المشاهير، وعرفت بجرأتها على الرجال، أيقظت عبد الغني السيد من نومه ليطلقها من زوجها، فهو كان معروفا بأنه حلال العقد والمشاكل بين أهل الفن، فانفرد السيد بالزوج وحاول إقناعه بتطليق الفنانة، فلمس فيه البقاء عليها، فحاول إقناعها بالرجوع لزوجها، فأهانته وتسببت له في أزمة قلبية استدعت نقله لمستشفى العجوزة التي مكث فيها لساعات ثم توفى بعد يوم واحد تقريبا.