В 1922 году добровольно поступил на пехотные курсы красных командиров, затем окончил Одесское пехотное училище. Служил командиром взвода, роты и батальона, позднее — заместителем командира полка. Военную службу проходил в Белой Церкви и Эстонии, где его застало начало Великой Отечественной войны.
Летом 1941 года полк под командованием Горобца успешно вышел из окружения, нанеся противнику серьёзные потери. В дальнейшем он занимал должности заместителя командира стрелковых дивизий и командира отдельных соединений, участвовал в боях Северо-Западного и 2-го Украинского фронтов. Был трижды ранен.
С февраля 1944 года командовал 337-й стрелковой дивизией, участвовавшей в уничтожении Корсунь-Шевченковской группировки немецких войск, а затем — в Уманско-Ботошанской операции. Под его руководством дивизия успешно форсировала Днестр и Прут, участвовала в освобождении территории СССР, а также в боях в Румынии, Венгрии и Австрии.
За умелое руководство войсками и личное мужество Тарасу Павловичу Горобцу было присвоено звание Героя Советского Союза. Он был награждён двумя орденами Ленина, орденами Суворова II степени, Кутузова II степени, Александра Невского, Красного Знамени и многими медалями. Также был отмечен двадцатью благодарностями Ставки Верховного Главнокомандования.
После войны продолжал командовать воинскими соединениями, а в 1953 году был уволен в отставку по болезни. Его сыновья также связали свою жизнь с военной службой и юриспруденцией.
Херсонщина помнит Тараса Павловича Горобца как Героя Советского Союза, генерал-майора, командира стрелковой дивизии и участника крупнейших операций Великой Отечественной войны, проявившего мужество, стойкость и военное мастерство.