Masjid Agung Rantauprapat berlokasi di jalan Ahmad Yani, berdampingan dengan simpang jalan Masjid Kecamatan Rantau Utara.
BanguNan yang dahulunya bernama Masjid Raya itu ternyata banyak menyimpan kenangan tentang sejarah, salahsatunya yakni kerajaan di Kabupaten Labuhanbatu di era penjajahan Belanda.
Dibangun sekitar tahun 1930-an dengan pertapakan wakaf dari kerajaan Bilah. Walau bentuk dan gaya ornamennya tidak begitu kuno, namun menurut sejarah, pertapakan masjid itu merupakan tanah wakaf dari kerajaan masa penjajahan Belanda.
Mengenang kebelakang, kerajaan Bilah diberi kuasa oleh penjajah untuk melakukan pemungutan pajak kepada masyarakat agar mereka tetap dapat membina hubungan harmonis dengan kerajaan-kerajaan yang ada di sekitar.
Pemangku kerajaan Bilah yang cukup dikenal setelah berhasil melakukan pemungutan pajak memiliki inisiatif untuk mendirikan masjid sebagai tempat beribadah kaum muslimin khususnya yang berada di Rantauprapat.
Dari sisa pungutan pajak (Balasting) di Labuhanbatu, kerajaan akhirnya membangun empat buah masjid sekaligus yakni, Masjid Raya Rantauprapat, Masjid Kualuh Hulu, Masjid Kota Pinang serta sebuah Masjid di daerah pesisir pantai Labuhan Bilik, dengan bentuk dan ciri khas yang hampir sama. Perkembangan pembangunan begitu pesatnya, Masjid Raya ini sejak dahulunya tetap mempertahankan keaslian bangunannya. Ini terlihat dari kubah masjid yang masih terbuat dari kayu yang sekaligus menjadi langit-langitnya. Hanya saja ukurannya sedikit diperbesar. Hiasan-hiasan kecil pada dinding masih jelas terlihat, mengingatkan kepada rumah-rumah kerajaan melayu di kawasan Sumatera Utara.
Menara masjid yang terdiri dari tiga buah itu, satu berfungsi sebagai menara utama yang paling tinggi posisinya berada di belakang. Sedang dua lagi dipintu masuk masjid. Sementara pada pintu pagar juga terdapat dua buah menara yang identik seperti bentuk masjid Raya Al-Maksum Medan. Ditambah dengan cat warna kuning, yang identik dengan simbol suku melayu, disertai balutan warna hijau pada bagian kubahnya.
Penasehat kenaziran Masjid Agung Rantauprapat Abdul Madjid Dalimunthe menjelaskan, sejak kemerdekaan Republik Indonesia, masjid tersebut masuk dalam pengawasan Departemen Agama (Depag), hingga kemudian nama Masjid Raya dirubah menjadi Masjid Agung.
Saat ini, masjid tersebut telah memiliki Klinik Kesehatan dan Sekolah Madrasah yang berada didalam lingkungan masjid. “Sejak jaman Belanda namanya Masjid Raya, tapi sekarang di rubah menjadi Masjid Agung Rantauprapat,” jelas nazir masjid itu kepada Sumut Pos.
Melihat rutinitas masjid, Abdul Madjid mengaku, jika selama bulan puasa, rutinitas kegiatan ibadah dilasakanakan sebagaimana biasanya masjid lain. Halaman masjid yang luas menjadikan kenyamanan tersendiri bagi orang yang sedang melintasi Jalan Lintas Sumatera. Tak Jarang kenderaan dari jauh memilih untuk istirihat dan sekaligus melaksanakan sholat disana. Sejalan dengan perkembangan jaman, Pemkab Labuhanbatu melalui instansi yang terkait juga membantu anggaran demi keberlangsungan masjid kebanggan tersebut.
