1898 wurde der Weiher durch den Wirt der Gaststätte „Wilder Mann“ angelegt. Durch die Schwäne, die auf dem See angesiedelt wurden, erhielt er den Namen „Schwanensee“.

Im Oktober 1898 legte der Gastwirt Ernst Sperr am „Wildenmannkeller“, den er vor der Stadt betrieb, einen kleinen See an. Bis zu ihrer Begradigung im Jahr 1929 bildete die Schillerstraße, heute Blaufelder Straße, seinen Damm nach Osten. Der See diente der Fischzucht und lieferte im Winter das notwendige Eis für die Kühlung des Biers, das im Sommer im Garten der Gaststätte ausgeschenkt wurde.

Seinen Namen erhielt der See von den Schwänen, die auf ihm lebten. Für sie und andere Wasservögel wurden schon um 1900 zwei schwimmende Häuschen auf dem See installiert. 1958 stiftete Malermeister Hermann Burkhardt noch einmal zwei Schwäne.
Der Garten des „Wildenmannkellers“ und der davor gelegene Schwanensee boten eine sehr romantische Atmosphäre. Glaubt man den Motiven auf alten Ansichtskarten, waren auch Bootsfahrten auf dem See möglich.

Im August 1961 wurde die direkte Umgebung des Schwanensees zur begehbaren Grünanlage ausgebaut, 1968 ein vom Angelsportverein gestifteter Springbrunnen in Betrieb genommen. Für den Erweiterungsbau des Albert-Schweitzer-Gymnasiums, der 1973 fertiggestellt war, musste der „Wildenmannkeller“ weichen und wurde abgerissen.

Bis heute wird der See vom Angelsportverein für die Fischzucht genutzt. Ihm obliegt auch die Gewässerpflege.