Die Linthebene präsentierte sich im 5./6. Jahrhundert nach Christus noch als feuchtes Sumpfgebiet. Doch am Rand der Ebene stiessen alemannische Siedler auf günstigere Bedingungen und gründeten einen herrschaftlichen Gutsbetrieb. Das aufstrebende Gehöft gelangte im 10. Jahrhundert unter dem Namen Chaldebrunna an das Kloster Einsiedeln, das bis 1798 grundherrschaftliche Rechte ausübte.
Angesichts seiner Lage hatte Kaltbrunn immer wieder mit dem Wasser zu kämpfen. Erst durch gewässerbauliche Massnahmen wie die Linthkorrektion entspannte sich die Lage. Von der einst grossflächigen Sumpflandschaft verblieb noch ein kleiner Rest – das heute geschützte Kaltbrunner Riet.
Eines der einschneidendsten Ereignisse der Kaltbrunner Ortsgeschichte war der grosse Dorfbrand von 1794. Er wirkte sich nachhaltig auf das Ortsbild im Zentrum aus.
