Das Ötlinger Tor bildete seit dem Bau der Stadtmauer, also seit dem 13. Jahrhundert, den westlichen Ausgang der Stadt, der nach Ötlingen und in das Neckartal führte. Dies gab dem Tor auch seinen Namen. Es wurde im Laufe der Jahrhunderte weiderholt erweitert und ausgebaut und überstand als eines der wenigen Gebäude und einziges Stadttor den Stadtbrand von 1690. Den mit Wasser gefüllten Stadtgraben an der Stadtmauer überspannte dabei zunächst eine Holzbrücke, die 1749 durch eine Steinbrücke ersetzt wurde. Als der Torturm 1819 baufällig war, beschlossen die Stadt- und Amtsvertretungen den Abriss der Anlage. Im Laufe der kommenden Jahre sollten schließlich alle drei übrigen Stadttore und -türme den zeitgenössischen Anforderungen an breite Straßen weichen. Die Umrisse auf dem heutigen Straßenpflaster zeigen den Grundriss des ehemaligen Tores und dienen als Reminiszenz.