Lahir dengan nama Muhammad Ali pada 1 September 1926 di Donggala, Sulawesi Tengah. Lambat laun hingga wafatnya di Tangerang Selatan pada 25 Februari 2023 dalam usia 96 tahun, ia terkenal dengan nama ayahnya tersemat di belakangnya, Ali Yafie. Ia merupakan cucu dari ulama yang mengampu pembelajaran di Masjidil Haram, yakni Syekh Abdul Hafidz Bugis. Kakeknya tersebut karib dengan dua ulama kondang asal Nusantara lainnya, yakni Syekh Nawawi al-Bantani dan Syekh Ahmad Khatib Minangkabau.
Ulama itu dikenal sebagai sosok yang paripurna. Pasalnya, ia mengenyam pengalaman di berbagai sektor, mulai hakim di pengadilan agama hingga politisi yang duduk di dunia legislasi, bahkan memimpin sejumlah organisasi masyarakat Islam dan perguruan tinggi. Hal itu semua dilakukan tanpa meninggalkan pijakannya sebagai seorang intelektual dengan tetap meneruskan pengabdiannya sebagai pengajar di sejumlah perguruan tinggi. Kepakarannya dalam bidang fiqih sampai diangkat sebagai guru besar di Institut Ilmu Al-Qur’an (IIQ) Jakarta hanyalah satu dimensi dari sekian banyak kiprahnya di tengah masyarakat.
Ia tumbuh dengan kasih sayang dan didikan orang tuanya. Ayahnya memperhatikan betul pendidikannya. Tak pelak, ia digembleng langsung oleh sang ayah, selain bersekolah secara formal di Vervolg School atau sekolah dasar yang disediakan Belanda untuk rakyat biasa di Parepare.
Namun, sosoknya haus akan pengetahuan sekaligus dorongan sang ayah sehingga berkelana ke sejumlah wilayah untuk menggali ilmu dari berbagai tempat, dari banyak guru, dengan ragam bidang. Tercatat, ia pernah mengenyam pendidikan di Pesantren Aunur Rofiq, Sidenreng, Rappang di bawah asuhan Syekh Ali Mathar (1939-1943); Pesantren Syekh Ibrahim Sidenreng, Rappang; Darud Da'wah wal Irsyad, Sengkang, Wajo asuhan Syekh Muhammad As'ad Abdurrasyid.

Ia juga mengaji kepada Syekh Ahmad Bone, Syekh Mahmud Abdul Jawad Bone di Pesantren Al-Amiriyah (1943-1944); dan Syekh Abdurrahman Firdaus Pinrang (1945). Kepada dua ulama terakhir itu, Kiai Ali Yafi belajar dengan pengantar bahasa Arab. Pasalnya, kedua ulama tersebut bermigrasi ke Sulawesi dari tanah suci, Syekh Mahmud berasal dari Madinah, sedangkan Syekh Firdaus berpindah dari Makkah.
Pendidikan yang cukup panjang itu menempanya menjadi sosok ulama multidisiplin. Memang ia dikenal dalam bidang fiqihnya, tetapi tidak menafikan kepakarannya dalam bidang lainnya. Bahkan, ia meramu fenomena sosial dan pandangan fiqih dengan perspektif teologis. Buku karyanya lahir dengan judul Teologi Sosial. Hal ini juga tidak lain lahir dari pengalamannya yang amat kaya dalam berbagai sektor.
Ulama yang dikenal sebagai ahli fiqih itu sudah aktif di NU sejak mudanya, saat masih tinggal di Sulawesi. Ia terpilih sebagai perwakilan rakyat di DPRD mewakili Fraksi NU pada Pemilu tahun 1955. Ia juga pernah menjadi Rais Syuriyah Pengurus Cabang Nahdlatul Ulama (PCNU) Parepare. Keaktifannya di tingkat provinsi membuat sosoknya kemudian diangkat menjadi Rais Syuriyah Pengurus Wilayah Nahdlatul Ulama (PWNU) Sulawesi Selatan.
Kemudian, ia juga terpilih sebagai anggota DPR RI melalui Fraksi NU pada Pemilu tahun 1971. Saat itu, NU masih menjadi partai sebelum kemudian fusi pada Partai Persatuan Pembangunan (PPP) pada tahun 1973. Di partai berlambang Ka’bah itu pula, Kiai Ali Yafie pernah duduk sebagai salah satu Rais Majelis Syura.
Setelah menjadi anggota DPR, Kiai Ali Yafie pun mulai aktif di Pengurus Besar Nahdlatul Ulama (PBNU). Ia mulai aktif sebagai Ketua Lembaga Kemaslahatan Keluarga Nahdlatul Ulama (LKKNU). Lalu, ia duduk di jajaran syuriyah pada kepengurusan masa khidmah 1984-1989.

Memimpin 3 Ormas Islam
Kiai Ali Yafie didaulat menjadi Rais Aam Pengurus Besar Nahdlatul Ulama (PBNU) meneruskan KH Achmad Siddiq yang wafat pada 23 Januari 1991. Sebelumnya, ia terpilih sebagai Wakil Rais Aam PBNU mendampingi Kiai Achmad Siddiq pada Muktamar Ke-28 NU di Pondok Pesantren Krapyak, Yogyakarta pada akhir tahun 1989. Sosoknya sempat menjadi salah satu alternatif selain sosok KH Achmad Siddiq dan KH MA Sahal Mahfudh.
“Nama lain yang disebut sebagai calon rais aam adalah Kiai Ali Yafie, 63 tahun, santri asal Donggala, Sulawesi Selatan. Ali Yafie kini dosen Perguruan Tinggi Ilmu Al-Quran (PTIQ) dan Universitas As-Syafi'iyah Jakarta yang pada kepengurusan lalu membantu Kiai Siddiq di lembaga syuriyah. Kendati tak punya basis Pesantren, mantan anggota DPR dari F-PP itu dikenal sebagai intelektual NU dan ahli fiqih.” (Primadona dengan Sepatu Sandal, dalam Tempo Nomor 40 Tahun XIX Edisi 2 Desember 1989, h. 30)
Dalam laporan Tempo, KH Idham Chalid mendorong Kiai Ali Yafie untuk meneruskan perjuangan Kiai Achmad Siddiq, memimpin NU. Hal ini tidak lain karena kedekatan kedua tokoh NU tersebut.
“Idham yang baru terpilih kembali menjadi ketua umum Jamiyah Ahlit Thariqah Al-Mu'tabarah An-Nahdliyah, perkumpulan tarekat NU, di Mranggen, Demak, Jawa Tengah 24 November lalu, sudah menegaskan tak ingin dipilih di Muktamar NU ini. Hanya saja, menurut sumber Tempo, ia ingin memperjuangkan KH Ali Yafie untuk pengganti Kiai Siddiq. (Kenduri Besar Setelah Presiden Memulul Beduk, Tempo Nomor 40 Tahun XIX, Edisi 2 Desember 1989, h.25-26)
Kiai Ali Yafie merupakan sosok yang teguh dalam memegang prinsip. Ia pun memilih mengundurkan diri dari Rais Aam PBNU saat terjadi peristiwa kasus SDSB. Setahun setelah mengemban amanah tersebut, posisinya diteruskan oleh KH Moh Ilyas Ruhiat yang ditetapkan pada Musyawarah Nasional (Munas) Alim Ulama NU di Lampung pada Januari 1992.
Pengunduran diri itu disampaikan melalui surat yang dititipkan melalui putranya pada 5 November 1991 saat rapat persiapan Munas Alim Ulama dan Konferensi Besar NU di Lampung Januari 1992 mendatang.
Kisah hampir mirip juga terjadi dalam Majelis Ulama Indonesia (MUI). Kiai Ali Yafie terpilih sebagai pimpinan sementara ketua umum MUI menggantikan KH Hasan Basri yang wafat pada 8 November 1998. Ia dilantik secara resmi pada 11 Februari 1999 melalui rapat paripurna pengurus MUI. (KH Ali Yafie: Jati Diri Tempaan Fiqih, Jakata: FKMPASS, 2001)
Di tahun yang sama, tepatnya pada November 1999, Kiai Ali Yafie juga mengajukan pengunduran dirinya dari ketua umum MUI. Namun, pengajuan itu ditangguhkan hingga berlangsungnya Musyawarah Nasional (Munas) yang sedianya digelar pada tahun 2000. Di Munas tersebut, para peserta juga meminta Kiai Ali untuk kembali memimpin organisasi tersebut. Namun, ulama yang saat itu sudah berusia 73 tahun itu tidak lagi bersedia dipilih dengan alasan kesehatan dan faktor umur. Hal demikian diungkapkan Umar Shihab sebagai pimpinan MUI.
Jauh sebelum terlibat aktif dalam dua organisasi di atas, Kiai Ali Yafie juga pernah memimpin organisasi masyarakat Islam di Sulawesi Selatan, yakni Darud Da’wah wal Irsyad (DDI). Setelah sempat menjadi sekretaris umum pada tahun 1957-1963, ia dipilih sebagai ketua umum pada periode 1963-1966.

Rektor Dua Perguruan Tinggi
Kiai Ali Yafie tidak hanya aktif dalam dunia politik, tetapi juga senantiasa terlibat dalam dunia pendidikan. Bukan saja mengajar di perguruan tinggi, Kiai Ali Yafie juga pernah menjabat sebagai rektor dua perguruan tinggi Islam, yakni Rektor Institut Agama Islam Negeri (IAIN) Alauddin Makassar pada tahun 1966-1971 dan Institut Ilmu Al-Qur’an (IIQ) Jakarta tahun 2002-2005.
Selain di dua kampus tersebut, ia juga tercatat mengajar di sejumlah kampus lainnya, seperti Universitas Islam As-Syafi’iyah, Institut Perguruan Tinggi Ilmu Al-Qur’an (PTIQ) Jakarta, IAIN Syarif Hidayatullah Jakarta.
Sebelum hijrah ke Jakarta, Kiai Ali Yafie juga pernah membantu ayahnya mengajar di Parepare. Lalu, ia juga mengajar di sejumlah kampus di Sulawesi, seperti Universitas Muslim Indonesia (UMI) Makassar.