Библиотека им. Н.Г. Чернышевского была открыта в 1901 году как Садовническая библиотека Столичным попечительством о народной трезвости в здании Народного дома на Садовнической улице. После 1917 года Народный дом преобразован в районный рабочий клуб с библиотекой.
В 1920 году по распоряжению Московского отдела народного образования библиотека рабочего клуба начинает работать с детьми, создается детское отделение, которое организует специализированные передвижки для близлежащих детских садов и для летних детских пионерских лагерей в Ильинском и Царицыне. В отделении работают детские кружки: громкого чтения, переплетный, по дежурству в библиотеке.
В 1930 году библиотека переезжает в новое помещение по адресу: улица Балчуг, дом 15, а в 1932 году детское отделение библиотеки отделяется и оформляется в самостоятельную библиотеку. В честь 105-летию Н.Г.Чернышевского библиотека была названа его именем.
В годы Великой Отечественной войны (1941-1945) библиотека не прекращает работу, обслуживает московские госпитали и доставляет книги в бомбоубежища.
В 1966 году библиотека вновь переезжает: в помещение на Овчинниковской набережной, дом 22/24. Число читателей библиотеки выросло до 8 тысяч, книжный фонд составлял 100 тысяч экземпляров.
В 1977 году библиотека получает статус Центральной библиотеки ЦБС Москворецкого района г. Москвы, объединяющей 8 библиотек. В 1986 году Центральная библиотека № 21 им. Н.Г. Чернышевского получила новое помещение на первом этаже жилого дома по адресу: улица Большая Татарская, дом 32. В 1992 году ЦБС Москворецкого района вошла в состав Центрального административного округа и была переименована в ЦБС № 5 ЦАО г. Москвы.