Мемориал был сооружен в память о героизме советских воинов в годы Великой Отечественной войны.
В декабре 1966 года, в честь 25-летней годовщины разгрома гитлеровских войск под Москвой, прах Неизвестного солдата был перенесён из братской могилы на 41-м километре Ленинградского шоссе – мест кровопролитных боев – и торжественно захоронен в Александровском саду у стен Кремля. Затем на месте захоронения был сооружен памятник в виде надгробной плиты из блоков красного кварцита, увенчанной бронзовой композицией: солдатской каской и лавровой ветвью, лежащих на боевом знамени. Перед надгробной плитой – углубленная площадка, выложенная плитами отполированного черного лабрадорита и обрамленная красным гранитом, в центре которой вмонтирована бронзовая пятиконечная звезда. На гранитной плите надгробья начертана надпись: «Имя твое неизвестно, подвиг твой бессмертен».
Торжественное открытие мемориала состоялось 8 мая 1967 года. На могиле был зажжен Вечный огонь Славы, который вырывается из середины бронзовой звезды. Его зажгли от пламени Вечного огня на Марсовом поле в Петербурге. Факел с огнем доставлялся из Ленинграда в Москву на бронетранспортере.
С 12 декабря 1997 года у Вечного огня на Могиле Неизвестного солдата был установлен постоянный пост №1 почетного караула, который несут бойцы Президентского полка. В ноябре 2009 года памятнику был присвоен статус Общенационального мемориала воинской славы, весь архитектурный ансамбль был включен в список «особо ценных объектов культурного наследия» страны.
Мемориал «Могила Неизвестного солдата» в Москве является местом возложения венков и цветов в дни различных праздников, ее посещают многочисленные делегации главы иностранных государств и правительств. Мемориал является местом посещения туристов и молодоженов.