Berdirinya
Klenteng Sam Poo Kong tidak bisa dipisahkan dari sejarah yang menceritakan mengenai
kedatangan Laksamana Cheng Ho ke pesisir laut utara pulau Jawa, hingga tiba di daerah
simongan, Semarang. Karena salah satu awak kapalnya sakit, Laksamana Cheng Ho akhirnya
memutuskan untuk tinggal sementara di daerah Simongan tersebut. Di sana, sembari
menunggu kesembuhan awak kapalnya, laksamana Cheng Ho pun menyebarkan agama islam
di daerah Semarang.
Untuk memperingati pendaratan Zheng He /
Cheng Ho, setiap tahunnya diadakan perayaan yang dimulai dengan upacara
agama di kuil Tay Kak Sie, di Gang Lombok. Kemudian dilanjutkan mengarak patung Sam Po Kong di
kuil Tay Kak Sie ke Gedong Batu (Klenteng Sam Poo Kong). Patung tersebut kemudian
diletakkan berdampingan dengan patung Sam Po Kong yang asli di Gedong Batu.
Tradisi
unik ini bermula sejak pertengahan kedua abad ke-19. Saat itu, kawasan Simongan dikuasai tuan tanah yang tamak. Jika hendak berkunjung ke kuil, mereka diharuskan
membara uang yang cukup besar. Karena kebanyakan peziarah tak mampu membayar sesuai
yang diminta si tuan tanah, maka mereka terpaksa mengalihkan peribadatan ke kuil
Tay Kak Sie. Di sana, replika patung Sam Po Kong kemudian dibuat dan diletakkan di dalam kuil
Tay Kak Sie. Setiap tanggal 29 atau 30 bulan keenam menurut penanggalan Imlek
Cina, patung duplikat tersebut diarak dari Tay Kak Sie ke Gedong Batu yang
dimaksudkan agar patung replika tersebut mendapat berkah dari patung asli yang
berada di dalam kuil Gedong Batu.
Pada tahun
1879, kawasan Simongan dibeli oleh Oei Tjie Sien. Dia membebaskan lahan tersebut, sehingga para peziarah dapat bersembahyang di kuil Gedong Batu tanpa
dipungut biaya apapun dan urusan pengurusan kuil diserahkan kepada Yayasan Sam
Po Kong. Pawai Sam Po Kong itu dihidupkan kembali pada tahun 1937 dan terus
menjadi daya tarik hingga sekarang.