Indtil midten af 1800-tallet havde beboerne i Algades nordlige side haver ud mod vandet, hvor Havnegade ligger i dag. For enden af haverne lå stranden, hvor beboerne anlagde bådebroer og badehuse. Idyllen i området blev brudt da jernbanestrækningen Odense – Middelfart blev anlagt i 1865. Middelfart Banegård blev placeret lidt udenfor byen, hvor Gammel Banegårdsvej ligger i dag. For at kunne fragte gods til og fra Middelfart Havn blev der anlagt et enkelt spor fra banegården til havnen, der skar midt igennem haverne og strandbredden. Godsvognene blev trukket af en hest, og derfor blev banestrækningen kaldt ”Trækbanen”.