В те годы у кучи народа кто-то из близких (а то и сам) мог быть в плену,  на оккупированной территории,  типа работать на оккупантов (пусть даже принудительно кочегаром на городской насосной станции или в поле в бывшем колхозе). И случаи,  когда отец или один из братьев герой,  а сын или другой брат служил у оккупантов,  тоже не редкость. И со старостами и полицаями бывало неоднозначно (пример - семья моей жены). 
Так что это был "козырь", который,  когда нужно,  доставали,  но не ужасное клеймо.