Bekas istana yang menjadi kediaman rasmi untuk Raja Muda Perak ini dibina pada tahun 1924 dengan kos sebanyak $27,000. Raja Muda Perak pertama yang bersemayam disini ialah Almarhum Sultan Abdul Aziz, Sultan Perak ke-31.
Pada masa dahulu istana ini masih digunakan, Teluk Intan digelar sebagai Bandar Diraja. Pelbagai acara pernah diadakan disini antaranya ialah ketika kunjungan Gabenor Jeneral Malaya, Sir Malcolm Macdonald ke Teluk Anson, beliau telah diraikan di Istana Raja Muda, dan dipersilakan untuk makan tengahari bersama Raja Muda.
Perayaan terbesar pernah yang dianjurkan disini ialah majlis perkahwinan pada 1 Ogos 1963 diantara Raja Aminah yang merupakan puteri kedua kepada Raja Muda Perak dengan Leftenan Tengku Ibrahim, putera kedua Sultan Pahang. Raja Muda Perak yang terakhir sekali menduduki Istana ini ialah Almarhum Raja Muda Ahmad Siffuddin ibni Almarhum Sultan Iskandar sehingga kemangkatan baginda pada tahun 1987.
Pada tahun 1988, DYTM Raja Muda Raja Dr. Nazrin Shah, Raja Muda Perak yang baru telah bersemayam di Istana Tetamu di Ipoh.