Музей был создан по инициативе участников героической обороны Севастополя 1854-1855 гг. Для организации музея был создан в Санкт-Петербурге Особый комитет под председательством , а в Севастополе - комиссия во главе с вице-адмиралом П. И. Кислинским. Э. И. Тотлебен предоставил для музея свой дом на ул. Екатерининской (ныне ул. Ленина), который находился напротив нынешнего здания музея, построенного к 25-летию музея в 1895 г. по проекту архитектора А. М. Кочетова.
