Südlich der Stadt im Bereich der heutigen Trutenbachallee befand sich ein ca. 800 x 300 m großer See, der Spitalsee. Er grenzte an den früheren Schlossgarten an und wurde ab 1810 trockengelegt.

Der Spitalsee war der größte der zahlreichen Crailsheimer Seen. Laut dem markgräflichen „Privilegium der Stadt Crailsheim“ von 1607 gehörte er „zum gemeinen Nutz der Stadt“. Am Mittwoch und Freitag durfte jeder Bürger dort fischen, an den restlichen Tagen war es verboten. Wer dagegen verstieß oder die gefangenen Fische nicht auf den Markt brachte, sondern für sich allein „verschlich“, wurde mit Geldstrafe oder Fangverbot bestraft.

Im Juli 1711 "verehrte“ die Stadt den Spitalsee ihrem Landesherrn, dem Markgrafen Wilhelm Friedrich. Sie sparte sich damit die Kosten der Unterhaltung; gleichzeitig bot der See im direkten Anschluss an Schloss und Hofgärten (Schlosspark) Möglichkeiten für ein repräsentatives höfisches Leben: Bereits 1546 wurde Kaiser Karl V. sein Aufenthalt im Schloss mit einer Nachenfahrt auf dem Spitalsee verschönert. Als 1764 Kaiser Franz I. mit seinen Söhnen hier weilte, fanden Volksbelustigungen, ein Nachenfahren in Kostümen, sowie ein Feuerwerk auf dem See statt. Der Stadtplan von Johann Christoph Horland von 1738 zeigt, wie der barocke Hofgarten mit einer Art Kaimauer an den See angrenzte.

1795 herrschte eine fruchtbare Kälte, bei der der reichlich besetzte Spitalsee so zufror, dass die Fische erstickten. Am Ende der bayerischen Zeit wurde der See im Jahre 1810 trockengelegt und zur Urbarmachung verkauft; 1931 die letzten Reste des Spitalsees abgelassen und der Kanal trockengelegt.

Heute erinnert nur noch eine kleines Seelein direkt am Museum und der jährlich für das Crailsheimer Kulturwochenende geschaffene „Eisweiher“ an diesen ehemals großen Stadtsee.