Asal usul Gereja St. Anthony of Padua ini dikesan seawal tahun 1894. Paderi pertama gereja ini, Rev. Father Rene Michel Marie Fee dari Société des Missions-Etrangères de Paris atau MEP, telah membeli sebidang tanah dan membina sebuah gereja kecil beratapkan nipah.
Dua tahun kemudian, beliau telah digantikan oleh seorang paderi muda iaitu Father Louis Perrichon bagi usaha menyebarkan dakyah Kristian disini. Diantara tahun 1900 dan 1914, beberapa menyebaran dakyah Kristian disini. Diantara tahun 1900 dan 1914, beberapa paderi MEP telah berkhidmat di gereja ini. Malangnya pada tahun 1914, gereja ini musnah akibat kebakaran. Sebuah gereja baru yang lebih besar serta indah dibina pada tahun 1922 oleh Rev Father Donat Perrissod dan batu asasnya diletakkan pada hari Ahad, 7 Mei 1922.
Dana bagi pembinaan bangunan gereja sebanyak $70,000 telah berjaya dikumpul meskipun terdapat kekangan ekonomi akibat kesan dari perang dunia. Senarai penderma boleh dilihat pada laluan mask ke dalam gereja sebagai tanda mengenang keikhlasan hati mereka.
Gereja ini telah dirasmikan oleh Bishop Jean Marie Merel, MEP pada 6 Mei 1923.