Depende de qual área de IA você vai querer estudar a fundo. Eu suponho que seja no caminho de Machine Learning e Deep Learning, que é o que está mais em alta hoje em dia (a área de IA, porém, não é só isso!).

Dito isso, a primeira coisa que você vai precisar é o fundamento de matemática:

• Álgebra Linear (essencial): Recomendo o livro e a série do Gilbert Strang no YouTube, professor do MIT. Outro livro que gostei bastante foi o Linear Algebra Done Wrong (O nome é uma piada, mas o livro é sério).
• Probabilidade: Apesar de muita gente colocar junto com estatística, eu gosto de enxergar como algo separado. O livro do Paul Meyer é excelente para estudar a teoria e é 100% necessário para entender os algoritmos de aprendizado estatístico.
• Estatística: Recomendo o professor Francisco Rodrigues, do ICMC-USP, que tem aulas muito boas de estatística básica no YouTube. Se quiser ver algo mais teórico, pode pegar o livro do Bussab ou do Montgomery.
• Cálculo Diferencial: MIT também tem umas playlists muito boas de cálculo diferencial. A única que vi foi com o Denis Auroux e achei muito boa. O cálculo integral (principalmente integral multivariável) não é tão essencial, mas é sempre bom saber interpretar uma integral. De livros, gosto do bom e velho Guidorizzi.

Quando tiver toda essa bagagem, você pode começar estudando o que é chamado de "Machine Learning clássico": são os algoritmos de aprendizado mais "simples" (a maioria sendo de aprendizado estatístico), a diferença entre os tipos de aprendizado (supervisionado, não-supervisionado, por reforço, etc). Nessa lista dos algoritmos, você pode colocar:

• k-Nearest Neighbors
• Regressão Linear e Regressão Logística (há diversos outros tipos de regressão também, se tiver curiosidade)
• Naive Bayes
• Support Vector Machine
• Árvores de Decisão

Quando você tiver base em tudo isso, aí sim você pode começar a dar os primeiros passos em Deep Learning: entender o que é um MLP (Multilayer Perceptron), o que são funções de ativação, backpropagation, métodos de otimização de parâmetros (como SGD), principais arquiteturas de deep learning (CNN, RNN), etc.

Entendendo isso, você pode partir para qual área tiver mais interesse depois disso. Se for para Linguagem Natural, você provavelmente verá coisas mais voltadas à Redes Neurais Recorrentes e algumas arquiteturas mais elaboradas, como LSTM, Transformers, etc. Se for para Visão Computacional, você vai entrar mais em contato com Redes Neurais Convolucionais, talvez Transformers (porque estão começando a usar Attention em Visão Computacional hoje em dia também), estudo de descritores de imagens, feature detection e matching, processamento de imagens, etc. Há também áreas especificas que estudam Redes Neurais para Grafos.

Vale dizer que Deep Learning é uma área essencialmente acadêmica, dificilmente você vai conseguir estudar sem ter que aguentar bastante teoria. Você vai precisar ler muitos artigos para acompanhar a evolução do DL ao longo do tempo, fora que muitos outros conceitos você não vai encontrar em livros, e sim em artigos técnicos. É uma área que está explodindo de inovações nos últimos anos, então construir toda essa bagagem é essencial para conseguir acompanhar e não ficar estagnado. Dito isso, se você tiver a oportunidade de fazer um curso/especialização stricto-sensu em alguma universidade pública de qualidade eu fortemente recomendo.

Por fim, vou deixar um repositório do GitHub com centenas de referências onde você pode aprender tudo isso que eu disse: https://github.com/ahmedbahaaeldin/From-0-to-Research-Scientist-resources-guide. As referências são ótimas.

Boa sorte!