結論から言えば：停止ボタンを２回（３回？）クリック！
ソフトウェア音源全盛の時代ですが、いまだにMIDI接続のハードウェア音源を使っているDTMerの方も多いのではないでしょうか。かくいう僕も今日KORG T1という平成元年発売のシンセサイザーをPCに接続して音を出していたのですが……
DAWでMIDIを再生した状態で別のファイルを開こうとすると、MIDIノートオフが送出されない状態になるせいか、ずっと音がなりっぱなしになるんですね。例えばDominoのようなMIDIシーケンサーならメニュー内のMIDI Panicボタンを押せば止まるんですが、Ableton Liveにはそれが見つからない……
調べてみたところ、「停止ボタンを２回クリックすると止まるよ」という情報が見つかったのでやってみました。
止まらない……
おかしいな？と思ってもう一度クリックしたところ
止まった……
環境や状況によるのかもしれませんが、停止ボタンを３回クリックで鳴りやまないMIDIの発音を止めることができるようです。
ちなみに、何回か検証（筆者の環境はLive 10.1・Windows 10）したところ、停止ボタンを何度クリックしても止まらないケースもありました……そういう場合は音源の電源自体を落とすしかないですね。いずれにせよ、Ableton Liveとハードウェア音源を使ってDTMをしている人は覚えておくとよいのではないでしょうか。