de l'aide pour un Agrume

Bonjour à tous,
Je souhaiterais savoir ce qui arrive à mon mandarinier : j'habite dans le sud ouest, mon mandarinier se trouve abrité par la terrasse dans un pot. Je ne l'arrose pas trop souvent, j'attends toujours que la terre s'asèche entre deux arrosage (sauf l'été). Cela fait 4 ans que je l'ai et il n'a jamais refait de fruits, pleins de fleurs. De plus, il fleurit au moins 3 fois dans l'année. Mais à l'heure actuelle toutes les feuilles ont fortement pâlies de façon uniformes sans tomber. Est-ce que quelqu'un peut me dire ce que je dois faire??