Основана в 1939 году как библиотека партийного кабинета райкома ВКПБ(б). С тех пор она несколько раз меняла адреса и направления деятельности. 28 августа 2008 года после ремонта состоялось торжественное открытие здания, приуроченное к восемьдесят третьему дню рождения писателя Юрия Трифонова. Его имя было присвоено библиотеке. В настоящее время Библиотека №2 им. Ю.В. Трифонова является структурным подразделением ГБУК г. Москвы "ЦБС ЦАО".