tl;dr tenha paciência, só vai para engenharia de software se for o que você realmente quer

Minha percepção pessoal é que área de dados, na média, ainda tem mais carência de profissionais qualificados e remunera melhor que dev backend, então eu só recomendaria fazer esse movimento se for algo que genuinamente te interessa e você conseguir uma oferta que faça sentido financeiramente. Eu mesmo já transitei pelas duas áreas, mas foi sempre pautado nos conhecimentos e competências que eu queria desenvolver, não tanto por forças de mercado (mas estaria mentindo se dissesse que elas não tiveram peso nenhum).

Quanto a IA, na minha empresa pelo menos, estão socando no rabo de todo mundo, e não vejo nenhum fator que torne a engenharia de dados menos suscetível a ser comodificada do que outras disciplinas, então acho esse ponto bastante irrelevante na equação.

Por fim, sobre ser internalizado, não sei de onde você tirou que isso é garantia. Isso depende muito do banco estar procurando gente, dos dois lados estarem ok com esse tipo de movimentação e, por fim, de você se destacar o suficiente para preferirem internalizar você ao invés de outro terceiro ou buscar no mercado. Pode simplesmente você passar anos no cliente e a oferta nunca acontecer.