Hanın yapımı, Osmanlı’nın yayıldığı üç kıtayı simgeleyen hanlardan biri olarak Sultan 2. Abdülhamid’in başmabeyincisi Sarıcazade Ragıp Paşa tarafından gerçekleştirildi.
Tünelin, soylu ve zengin kişilerin geçmişte binalar arasında gizlice dolaşmalarını sağladığına dair rivayetler bulunuyor.
Rumeli Han, geçmişte önemli sanatçılar ve siyasilerin buluşma noktası olmuş ve günümüzde de bu özelliğini sürdürüyor.
Tünelin diğer hanlarla birleştiğine dair rivayetler olsa da bu kesin olarak doğrulanmış değil. Restorasyon ekibi, hanın temelini sağlamlaştırmak için başladıkları hafriyat çalışmaları sırasında tüneli keşfetmiş ve burayı temizleyerek ortaya çıkarmış.