В сентябре 1950 года Голиков Филипп Иванович был назначен командующим Отдельной механизированной армией, дислоцирующейся в Румынии. По возвращении в Москву – начальник Военной академии бронетанковых войск.

С января 1958 года – начальник Главного политического управления Советской армии и Военно-Морского флота.

Многократно избирался делегатом районных, городских, областных партийных конференций, съездов союзных республик. Был делегатом 17-ой Всесоюзной партконференции, XУIII, ХХП и ХХШ съездов КПСС, членом Центральной ревизионной комиссии, членом ЦК КПСС. Избирался депутатом Верховных Советов СССР, РСФСР, УССР, БССР.

В мае 1962 года освобожден от должности «по состоянию здоровья и в связи с переходом на пенсию». В июне 1962 года назначен Генеральным инспектором Группы генеральных инспекторов Министерства обороны СССР.

Филипп Иванович Голиков умер 29 июля 1980 года. Похоронен на Новодевичьем кладбище в Москве.