Pada sekitar tahun 1800-an, Teluk Anson (kini Teluk Intan) merupakan sebuah kawasan perdagangan. Masyarakat India Muslim pada masa itu merupakan saudagar telah singgah untuk berdagang dan menyampaikan dakwah disini. Mereka kemudiannya membina sebuah masjid ditengah Bandar Teluk Intan sekitar tahun 1860-an.
Walaubagaimanapun, bangunan masjid ini dipercayai dibina pada lewat kurun ke-19 atau pada awal kurun ke-20. Masjid India Muslim ini juga merupakan masjid tertua dibina di Teluk Intan dan juga digunakan untuk mendirikan solat Jumaat. Masjid ini mempunyai sebuah kolam yang sering digunakan bagi tujuan perubatan Islam yang dipercayai dapat mengubati penyakit. Kolam ini masih kekal di tempat asal dengan keluasan yang sama, namun kolam yang asal berlantaikan tanah dengan kedalaman lebih 2 meter, dan oleh kerana mengambil kira faktor keselamatan, pihak ahli jawatankuasa masjid pada tahun 1970-an telah mengurangkan kedalaman kolam dan kemudian menambah batu marmar pada kolam tersebut.
Tiang-tiang asas masjid asalnya dibina dengan menggunakan batu-bata dan dikemaskan dengan kapur jelas menunjukkan keindahan seni binanya dan pada waktu dahulu terdapat pokok bunga tanjung besar yang menghiasi laman masjid ini.