Родился в 1921 году в Украине. В 1927 году семья переехала в Аромашевский район. Перед началом войны закончил военное училище в звании лейтенанта был направлен в Московский военный округ. В вооруженных силах был с 15 января 1939 года. Член ВКП/б с 1942 года.

Награды:
Медаль «За победу над Германией», Орден Отечественной войны 2 степени.

В боях за город Перемышль 27.12.1941 года в составе 755 стрелкового полка 217 стрелковой дивизии 50 Армии Западного фронта 120 минометной батареи под командованием Горжей И.Я. уничтожила18 автомашин противника с боеприпасами и живой силой. В тот же день, батарея, участвуя в огневом налете, уничтожила отступающую мотоколонну противника в составе 20 автомашин, при чем было убито 80 немцев. За период наступления на г. Перемышль, батарея старшего лейтенанта Горжея И.Я. уничтожила и подавила 14 огневых точек противника. Успех батареи был, достигнут благодаря личной смелости старшего лейтенанта Горжея И.Я., который для корректирования огня батареи выдвигался в передовые подразделения стрелковых частей.

При взятии станции Зыбино, крупного железнодорожного узла, батарея минометчиков в составе 755стрелкового полка 217 стрелковой дивизии 50 Армии Западного фронта 04.01.1942 года под командованием старшего лейтенанта Горжея И.Я. подавила и уничтожила 6 дотов и 4 дзота, этим самым обеспечив выполнение задания стоящее перед 755 стрелковым полком.В этом бою старший лейтенант Горжей И.Я. получил тяжелую контузию, отказался от эвакуации в госпиталь и продолжил командовать батареей.

С 18 по 24 апреля 1942 года батарея минометчиков в составе 755 стрелкового полка 217 стрелковой батареи под командованием Горжея И.Я. при взятии г. Павлово, отразив более 18 пехотных атак, уничтожив огнем и в рукопашном бою 450 фашистов. 21 апреля, ведя лично в атаку бойцов, старший лейтенант Горжей И.Я. был тяжело ранен, в результате ранения ему ампутировали правую ногу.

С 1943 года работал учителем географии после окончания Свердловского пединститута.

Школе и воспитанию молодёжи отдал 35 лет. Награждён орденами и медалями, грамотами. Был занесён на Доску Почёта Обкома КПСС.