Nous présentons dans cette thèse une simulation numérique de la convection mixte d’un fluide électriquement conducteur en rotation dans un espace annulaire entre deux cylindres coaxiaux verticaux. La stabilité de l’écoulement est obtenue en appliquant un champ magnétique externe. Cette recherche vise à étudier la zone d’éclatement tourbillonnaire, la marge de stabilité et les couches fluides de l'écoulement en rotation entre deux cylindres coaxiaux verticaux sous l'effet d'un gradient thermique et d'un champ magnétique axial. Les équations gouvernantes de Navier Stokes, de température et de potentiel électrique sont résolues à l'aide de la méthode des volumes finis. Cette étude est divisée en deux parties : la première partie présente un fluide visqueux conducteur (l'alliage plomb-lithium (PbLi)) caractérisé par un petit nombre de Prandtl (Pr=0.032) et placé dans l'espace entre deux cylindres coaxiaux. La combinaison du rapport d'aspect, γ=1.5 et du nombre de Reynolds, Re=1500 pour trois espaces annulaires (R=0.7,0.8 et 0.9) est comparée en termes de stabilité d'écoulement et de taux de transfert de chaleur. Sans champ magnétique, la décomposition du vortex se produit près du cylindre intérieur en raison de l'action croissante de pompage d'Ekman. Les structures en couches fluides sont développées par la compétition entre la flottabilité et les forces visqueuses. L'augmentation de l'amplitude du champ magnétique ralentit l'apparition de l'instabilité oscillatoire et provoque la disparition de l’éclatement tourbillonnaire (vortex breakdown) et réduit le nombre de couches fluides. Les limites dans lesquelles le vortex breakdown se manifeste et la limite de transition entre multiples couches de fluide et une seule couche de fluide sont établies. La deuxième partie de cette étude présente une comparaison de trois combinaisons de rapports d'aspect (γ) et de nombres de Reynolds (Re). L'action de pompage établit une circulation secondaire le long du plan méridien de l'espace annulaire. Pour certaines combinaisons, l’éclatement de vortex s'est produit près de la paroi interne. La bifurcation sous forme de plusieurs couches de fluide devient apparente lorsque la différence de température dépasse une valeur critique. Ces couches fluides jouent le rôle d'isolant thermique et limitent les échanges thermiques entre le haut chaud et le bas froid des cylindres coaxiaux. La décomposition du vortex et les couches de fluide pourraient être supprimées par le champ magnétique; l'augmentation du nombre de Hartmann (Ha) freine l'écoulement peut être. Des diagrammes représentant l'effet de l'augmentation du nombre de Richardson (Ri) sur les couches fluides sont établis. Ensuite, des diagrammes de stabilité correspondant à la transition de la zone à plusieurs couches de fluide vers la zone à une seule couche de fluide en fonction du nombre de Prandtl (Pr) sont obtenus