Этот парк был основан еще в 70-80-х годах XIX века тогдашним начальником города и порта Петром Шмидтом. В то время парк занимал гораздо большую площадь, нежели нынешние 3,5 гектара. Но назван он в честь не своего основателя, а его сына, лейтенанта Шмидта. В парке представлено более 70 видов кустарников и деревьев. Кроме роскошных клумб и красивого ландшафтного дизайна, парк изобилует памятниками. В частности, центральный вход встречает посетителей бюстом лейтенанта Шмидта, есть в парке и памятник детям лейтенанта Шмидта. Экспрессивная скульптурная группа "Матросам Великой Отечественной войны" возле братской могилы посвящена 20 морякам-десантникам Азовской флотилии, которые в 1943 году погибли при освобождении города. На территории парка находится и большой особняк купца Езрубильского, служивший в 30-е годы XX века помещением санатория для советских военных летчиков, а нынче являющийся зданием музыкальной школы.