Yo no lo comentaría con la gente del equipo ya que como bien dices creo que quedará muy mal y más siendo el primer día. Personalmente, intentaría contactar en primer lugar al recruiter -que te dijo que ibas a entrar en uno de los equipos que te gustaban- y en segunda instancia al manager ya que también conoce tus preferencias.
Suerte y espero que se trate de un error!