Pada 1845, sebah tokong kecil telah dibina ditebing Sungai Perak di Durian Sebatang dan kemudian dipindahkan ke Jalan Changkat Jong pada 1860. Seterusnya pada tahun 1880, sewaktu Major Jeneral Sir Archibald Anson, Leftenan Gabenor Pulau Pinang mengalami sakit yang teruk, pembantu rumahnya memohon kepada Dewa dan ajaibnya selepas itu Archibald Anson sembuh dari penyakitnya.
Sebagai tanda penghargaan, beliau berjanji untuk memberikan sebidang tanah bagi membina tokong yang lebih baik. Jadi pada 1883, tokong ini dibina dengan mengikut konsep senibina dari Selatan China, menggambarkan zaman Dinasti Ming dan Ching. la menjadi pusat tumpuan bagi kaum Cina berketurunan Hokkien semasa era kolonial Inggeris serta turut menjadi tempat aktiviti kebajikan dan sistem kehakiman yang menggunakan sistem 'keibu-bapaan' bagi menyelesaikan permasalahan.
Pada tahun 1928, tokong ini telah diubahsuai dan bahagian lama bangunan diperbaiki melalui sumbangan berjumlah $30,000. Tokong ini terletak dikawasan yang berkeluasan sebanyak 37,000 kaki persegi. Sewaktu Perang Dunia Kedua, terdapat banyak artifak serta barangan milik tokong yang mempunyai nilai sejarah telah hilang.