C'est un peu ce que j'allais dire : il faut voir le médecin référent !
Si ensuite il te dit qu'effectivement cela pose un problème, alors il faudra en informer le médecin du travail et ton patron pour voir ce qu'il est possible de faire (restriction d'emploi, suspension du contrat de travail, etc...)
Si vraiment tu crains pour ta santé, tu peux toujours utiliser ton droit de retrait.