Николай Иванович Харджиев родился 26 июня 1903 года в Каховке Херсонской области в семье Ивана Егоровича и Хрисиклии Мильтиадовны Харджиевых. Детство и юность прошли на Херсонщине, где Николай окончил среднюю школу.
Путь в большую литературу начался в Одессе. В 1925 году Николай Харджиев окончил юридический факультет Одесского университета и в те же годы стал публиковаться в газете «Моряк», где работал корректором. Здесь он познакомился с Эдуардом Багрицким, а позже его образ под именем Харито появится в повести Константина Паустовского «Чёрное море».
В конце 1920-х годов Николай Иванович переехал в Ленинград, а затем в Москву. Он оказался в центре литературной и художественной жизни: дружил с Алексеем Кручёных, Виктором Шкловским, Юрием Тыняновым, Борисом Эйхенбаумом, а также познакомился с Хармсом, Введенским, Заболоцким и Малевичем. Эти встречи определили его интерес к авангардному искусству и формализму.
Особое место в жизни литературоведа заняла Анна Ахматова. Их знакомство в 1930 году переросло в многолетнюю дружбу. Он помогал Ахматовой в работе над статьями о Пушкине и в переводах, а она посвятила ему несколько стихотворений. Его квартира в Марьиной Роще стала местом встреч выдающихся писателей и художников — там бывали Пастернак, Малевич, Цветаева, Татлин и другие.
Во время Великой Отечественной войны Николай Харджиев участвовал в обороне Москвы и был награждён медалью. Позже, находясь в эвакуации в Алма-Ате, он работал в сценарном отделе «Мосфильма» под руководством Сергея Эйзенштейна.
После войны Николай Иванович посвятил себя литературоведению и текстологии. Он стал одним из ведущих исследователей русского авангарда, подготовил и прокомментировал издания произведений Маяковского, Хлебникова, Гнедова, Мандельштама и других авторов. Ему также принадлежат повесть «Янычар» и книга о художнике П. Федотове «Судьба художника».
Херсонщина помнит и гордится Николаем Ивановичем Харджиевым — уроженцем Каховки, чья жизнь была посвящена литературе и сохранению наследия выдающихся поэтов и художников своего времени.