Dibina pada tahun 1882, bangunan ini dahulunya dikenali sebagai Central Station bagi daerah Hilir Perak. Pada asalnya bangunan ini digunakan sebagai pusat kutipan cukai dan pejabat kastam. Kemudian pada zaman pentadbiran Residen British Sir Hugh Low, bangunan ini kemudiannya diubah fungsinya kepada balai polis.
Dikawasan sekitar balai polis inilah terletanya perkampungan dikenali sebagai Teluk Mak Intan yang kemudian telah dinamakan semula sebagai Teluk Anson sebagai tanda penghargaan kepada Major General Sir Archibald Edward Harbord Anson, Leftenan Gabenor Pulau Pinang yang merangka pelan pembinaan bandar ini. Struktur dan senireka bangunan balai polis ini sinonim dengan gaya era Kolonial British dengan elemen tempatan turut diserapkan dalam pembinaannya.
Bangunan bersejarah ini berfungsi sebagai pusat tahanan oleh pihak pentadbiran British untuk sesiapa yang didapati bersalah atas pelbagai jenayah. Sewaktu zaman pendudukan Jepun, balai polis ini turut digunakan sebagai pusat penyeksaan oleh pihak Polis Tentera Empayar Jepun atau lebih dikenali sebagai Kempeitai.