Окраска шерсти у жёлтого мангуста отличается в зависимости от ареала распространения. У южных подвидов красновато-жёлтая шерсть, у северных жёлто-серая. У некоторых зверей имеет место сезонная смена шерсти: летом она красноватая, зимой более бледная. Нижняя сторона тела и кончик хвоста окрашены в белый цвет. Короткие и округлённые уши и пушистый хвост усиляют впечатление сходства с лисицей. Размер тела составляет от 27 до 38 см, длина хвоста от 18 до 28 см. Вес взрослых особей колеблется от 440 до 800 грамм, в некоторых исключительных случаях доходит даже до 1 кг.