Masjid ini didirikan pada tahun 1956, dengan peletakan batu pertama oleh Syekh Ibrahim Musa Parabek didampingi Haji Abu Samah atau Inyiak Kurai. 

Masjid ini merupakan tempat bersejarah yang digunakan untuk musyawarah yang melahirkan Majelis Ulama Sumatera Barat pada tahun 1968. Majelis ulama daerah ini adalah yang pertama di Indonesia sebelum terbentuknya Majelis Ulama Indonesia (MUI) pada 26 Juli 1975.

Kompleks Masjid Jami’ Birugo berdiri di atas tanah wakaf seluas 3.202 meter persegi.

Bangunan utamanya berbentuk persegi dengan denah dasar seluas 1.800 meter persegi, termasuk bangunan tambahan di belakang masjid yang digunakan sebagai tempat pendidikan agama (TPA dan MDA) bagi anak-anak.

Di pekarangan masjid, terdapat bangunan berbentuk kubus sebagai miniatur Ka’bah yang difungsikan sebagai tempat manasik haji bagi peserta yang tergabung dalam Kelompok Bimbingan Ibadah Haji (KBIH).

Masjid ini tidak hanya berfungsi sebagai tempat ibadah, tetapi juga sebagai pusat kegiatan keagamaan dan pendidikan di Kota Bukittinggi.