Hola michi55!! Quizá está conducta sea por falta de socialización. Los animales dentro de sus primeras semanas de vida deben ser socializados con todo tipo de cosas que van a estar dentro de su rutina: perros, niños, gente, carros, ruidos etc.
Por la edad que tienen ya es algo muy complicado de manejar. Te llevará un poco de tiempo. Pero lo que puedes hacer es llevar visitas más seguido a la casa para que el gato se vaya adaptando a esa situación. Solo pide a tus visitas que no le presten demasíada atención al gato para que se vaya adaptando.
Puedes usar feromonas para gato, existe un producto llamado adaptil. Quizá te ayude un poco a controlar el estrés y la ansiedad que las visitas le ocasionan.
¡Saludos!