Rahmat Abdullah, itulah nama yang diberikan kepada putra kedua dari pasangan Abdullah dan Siti Rahmah. Lahir di sebuah rumah sederhana di kawasan Kuningan, Jakarta Selatan pada tanggal 3 Juli 1953. Putra kedua dari 4 (empat) bersaudara ini hidup dari keluarga asli Betawi yang sederhana dan taat beragama. Kakak pertamanya, Atikah, perempuan, meninggal dalam usia beberapa hari setelah lahir. Lalu Rahmi, laki-laki juga sudah meninggal. Baru Rahmat, dan sesudah itu yang bungsu Nawawy.  

    Rahmat Abdullah, yang seringkali dipanggil Bang Mamak oleh warga Kampung Kuningan ini, meskipun lahir dari pasangan asli Betawi, namun ia selalu menghindari sebutan Betawi yang dianggapnya berbau kolonial Belanda. Ia lebih bangga dengan menyebut Jayakarta, karena baginya itulah nama yang diberikan Pangeran Fatahillah  kepada tanah kelahirannya. Sebuah sikap yang tak lain lahir dari semangat anti kolonialisme dan imperialisme, serta kebanggaan (izzah) terhadap warisan perjuangan Islam.

Pada usia 11 tahun, Rahmat kecil harus menapaki hidupnya tanpa asuhan sang ayah, karena saat itu ia telah menjadi seorang anak yatim. Sang ayah hanya mewariskan pada dirinya usaha percetakan-sablon, yang ia kelola bersama sang kakak dan adik untuk menutupi segala biaya dan beban hidup yang mesti ditanggungnya.

    Meskipun begitu, Rahmat bukanlah remaja yang cengeng. Walaupun harus ikut membanting tulang mengais rezeki, ia tetap tak mau tertinggal dalam pendidikan. Awal pendidikan resminya ia mulai sejak masuk sekolah dasar negeri di bilangan Kuningan, yang kala itu masih berupa perkampungan Betawi, belum berdiri gedung-gedung pencakar langit. Dan seperti umumnya generasi saat itu, Rahmat kecil setiap pagi mengaji (belajar membaca Al Qur'an, baca tulis Arab, kajian aqidah, akhlaq & fiqh dengan metode baca kitab berbahasa Arab, menukil terjemah dan syarah ustadz) baru siang harinya dilanjutkan dengan sekolah dasar.