По инициативе Н.К.Крупской в 1935 году группа педагогов-москвичей смогла привлечь внимание руководства Москвы к необходимости создания в столице сети внешкольных учреждений, и в переулке Стопани (ныне Огородная слобода) было выделено здание для Московского городского дома пионеров и октябрят.
Особняк №6 по переулку Стопани построен в 1900 г. Реставрация и перестройка здания началась в 1936 г. Внимание к строящемуся Дому пионеров было исключительно велико: многие предприятия, частные лица преподносили подарки. В числе дарителей были и издательства: «Молодая гвардия», «Детгиз». Они прислали более 2000 томов художественной литературы. Эти издания стали первыми в фонде библиотеки №5.
В 1977 году под лозунгом «Культуру в массы» библиотеку №5 временно перевели в полуподвальное помещение жилого дома №6 по Ярославскому шоссе, где она остаётся до сих пор.
В фонде библиотеки до сих пор хранятся книги, послужившие основой фонда.