Toldboden er én af de ældste bygninger i Kerteminde. Den blev opført af Odense-købmanden Niels Bager omkring år 1590, da Kerteminde fungerede som havneby for Odense.I 1659 under Svenskekrigen benyttede svenskerne bygningen som hovedkvarter, og da den dansk-hollandske flåde skulle tilbageerobre byen, blev bygningen skudt i grus og først genopført i 1735, som årstallet på facaden angiver. Frem til 1800 udgjorde den det eneste grundmurede, verdslige byggeri i Kerteminde.