Schon seit über 500 Jahren stand eine alte Scheune auf dem Hang zwischen der Stadt Königstein und der Palmschänke. Die sog. alte „Jagdsteinscheune“ war baufällig und sollte abgebrochen werden.

Im Jahre 1924 wurde ein Pachtvertrag zwischen der Stadt Königstein und dem „Gebirgsverein für die Sächsische Schweiz“ geschlossen und die Jagdsteinscheune ging an den Gebirgsverein über.

Die Arbeiten zum Umbau wurden unter anderem durch den Verkauf von Bausteinen im Wert von 1 Mark finanziert. Am 13.Juli 1924 wurde die Latzhütte feierlich als Gebirgsvereinsheim geweiht. Seit dieser Zeit herrschte ein buntes Jungend- und Wanderleben auf dem Latz.

In den Jahren 1926-28 wurde ein Schuppen errichtet, welcher zur Lagerung von Feuerholz und Gerätschaften diente. Historische Dokumente aus dieser Zeit belegen die Nutzung der Latzhütte für Sonnenwendfeiern und Versammlungen innerhalb des Gebirgsvereins. Ebenfalls historisch dokumentiert ist die herrliche Aussicht von der Hütte nicht nur über die Stadt Königstein, den Lilienstein auf der anderen Elbseite, sondern auch bis zum Tanzplan bei Sebnitz.

Die Latzhütte war zu dieser Zeit bewirtschaftet und stand Wanderern als Übernachtungsmöglichkeit zur Verfügung. 

Nach dem 2. Weltkrieg hat sich der Gebirgsverein nicht neu gegründet und die Hütte wurde kurzzeitig als Unterkunft für Umsiedler genutzt.

Durch die DDR-Jugendorganisation FDJ wurden eine Vielzahl von Herbergen verwaltet und die Latzhütte wurde als Außenquartier der Jugendherberge „Julius Fucik“ in Königstein zugeordnet. Die fehlende feste Hand eines Herbergsvaters führte zu einem baldigen Verfall und eine Weiternutzung war somit nicht mehr möglich.


Im Jahr 1958 konnte eine kleine Gruppe kletter- und wanderbegeisterter Jugendlicher von ihrem damaligen Domizil, der Jugendherberge Schöna, nach Königstein umziehen. Im Herbst 1958 bekamen diese Jugendlichen das Außenquartier „Latzhütte“ zur Betreuung übergeben. Mit der Gründung der Sektion „Wandern und Bergsteigen“ innerhalb der Betriebssportgemeinschaft BSG Rotation, später BSG Empor Heidenau, konnte nun ein Patenschaftsvertrag zwischen der Jugendherberge und der Sektion „Wandern und Bergsteigen“ geschlossen werden. Der Vertrag wurde mehrfach verlängert und verändert, wobei die Nutzung der Latzhütte so immer mehr in die Verantwortung der Wanderfreunde überging.

Nach der politischen Wende im Jahr 1989 mussten nach bundesdeutschem Recht aus den Betriebssportgemeinschaften Vereine gebildet werden. Am 24. September 1990 wurde der Verein „Sport- und Spielgemeinschaft Planeta Heidenau e.V.“ in das Vereinsregister des Kreisgerichts Pirna eingetragen. Durch Beschluss vom 08.12.2001 wurde der Name in „Bergfreunde Latzhütte Königstein e.V.“ geändert und der Sitz nach Königstein verlegt. 

Die Latzhütte selbst wurde nach der Wende durch die Treuhandanstalt verwaltet.

Aus deren Vermögen konnte der Verein im Jahr 1997 die Latzhütte erwerben und am 15.12.1997 wurde der Kaufvertrag unterzeichnet.
 In den folgenden Jahren wurden an der Hütte eine Vielzahl von Reparaturen und Verbesserungen vorgenommen.