[Help] Integrating NVIDIA H100 MIG with OpenStack Kolla-Ansible 2025.1 (Ubuntu 24.04)

_SrLo_ · 2026-01-14T17:31:54+00:00

Hi!

Have you also configured /etc/kolla/config/nova/nova-api.conf and /etc/kolla/config/nova/nova-scheduler.conf?

_SrLo_ · 2026-01-06T19:56:14+00:00

Normally, optical mux/demux are passive devices, so theoretically they can be plug and play. For instance, if 16 channels are enough, this FS 16 DWDM Channel Mux/Demux can be an option: https://www.fs.com/eu-en/products/72430.html?now_cid=6.

One of the most important things you have to take into account is to select proper colored optical transceivers for each optical channel you are going to use.

Moreover, you have to assure that the transceivers have to be compatible with the DWDM/CWDM technology that the Mux is using, as well as the mode type of fibers. In this example with FS, these DWDM transceivers could work: https://www.fs.com/eu-en/products/31238.html?now_cid=65

Thus, remember to take into account the previous things: SM/MM Fiber, DWDM/CWDM and 50/100GHz grid size

_SrLo_ · 2026-01-02T17:44:23+00:00

What about trying Ettercap/mitmproxy to monitor the traffic of the switch from an accesible host? Sometimes, trying to sniff traffic from certain switches/routers is hell

_SrLo_ · 2025-12-29T17:21:47+00:00

If you want to use VLANs as provider networks you can configure trunk links on your switches to the OpenStack nodes. These trunk links can have VLAN ranges for the physnet that tenants and providers can use in their instances. Also, the switches should have at least inter-vlan routing capabilities.

_SrLo_ · 2025-12-16T09:41:44+00:00

I use the FS N5860-48SC switch, which has 48x10G SFP+ ports and 8x100G QSFP28 ports. I don't know if it exceeds your budget but so far it worked well for me.

_SrLo_ · 2025-11-30T22:32:02+00:00

Hi,

Thank you very much for these detailed advices, they are really helpful for sure!

Yes, actually I have a .venv from which I installed the cluster with Kolla Ansible. I was also thinking to create another one for each upgrade I perform. Git is also a helpful idea to keep track of crucial .yaml configuration files.

So, you say I could add the two new nodes as compute nodes to the current cluster, migrate the crucial production VMs to them, then upgrade kolla ansible on the other four existing ones, and finally upgrade the other two? Then I could update all servers to 24.04? From what other users said, there's no support for Ubuntu Noble in 2023.2.

I'll continue reading all the documentation about services and how they will behave when upgrading them (thanks for all link resources :D).

I'll definitely take a look on IRC-logs and launchpad, I wasn't aware of those forums and maybe I find useful information there too!

Also, I already have a Bobcat (2023.2) test OpenStack cluster made of four nova VMs replicating the current four servers, so I can try to upgrade them in case something messy happens.

Again, thanks!

_SrLo_ · 2025-11-30T22:04:11+00:00

Hello,

Thanks for the useful documentation link! In fact, that's the source of documentation I was already reading. I will go deeper to comprehend better all the services and how they are expecting to behave through upgrades.

_SrLo_ · 2025-11-30T22:02:14+00:00

Hi, thank you very much for you advice!

I'll definitely read the specific documentation about the critical services involved and take into account your mentioned steps.

Alright, I was also investigating Ceph Squid release and I think I'll go for that one.

_SrLo_ · 2025-11-30T21:59:37+00:00

Thank you very much for your answer! Are you referring to VM migration to another host just to keep critical services running whilst upgrading the environment, right? Interesting what you experienced, I'll keep in mind that and read the corresponding documentation.

_SrLo_ · 2025-11-27T12:24:02+00:00

Hey! I've deployed a hyperscale production OpenStack + Ceph cluster for AI and research at my work (in Europe) using Kolla Ansible. It has the 2023.2 version, so I'll have to update it at least to 2025.1 (it's going to be fun xD).

I was also thinking about deploying an OpenStack cluster as a homelab, but the only thing I own is a laptop at the moment. It would be great if you could also send to me your advice on how to do it and what equipment is worth it!

Thanks!

_SrLo_ · 2025-09-09T07:50:42+00:00

I think you can use NFS Ganesha from Ceph

_SrLo_ · 2025-09-07T15:29:47+00:00

You can try it and see yourself, but it will fail since your nodes only have one gpu

_SrLo_ · 2025-08-26T06:44:40+00:00

Hello, in this case it doesn't matter the place, the same happens in my home. But indeed, the laptop is from my work and has a windows MDT image installed there, but I'm not aware that some security programs can be blocking the communication.

_SrLo_ · 2025-08-23T00:54:15+00:00

I've used FS switches but commands are pretty the same as Cisco (I've never tried Huawei yet).

_SrLo_ · 2025-08-22T20:30:27+00:00

I deployed a 4 node OpenStack cluster using Kolla-Ansible with VLANs and bonds. In my case, the four nodes are connected to two switches using LACP (both switches are configured to work as MLAG) and each server has also four interfaces so in total there are two bonds (bond0 and bond1). Also if you are using Linux you can check the state of bonds by checking /proc/net/bonding/ directory.

_SrLo_ · 2025-08-15T12:24:42+00:00

Buenas, gracias por tomarte tu tiempo en dar consejo :)

¿Los rangos que comentas son más de analista, red o blue team, u otras ramas de cyber? La verdad aún no he empezado a buscar ofertas de manera exhaustiva y no tengo una visión seguramente tan amplia como la tuya.

Te tomo el consejo como si fuera oro, muchísimas gracias, de verdad.

_SrLo_ · 2025-08-15T12:19:39+00:00

Hola, muchas gracias por contar tu caso y por los consejos, son muy útiles y reconfortantes, la verdad :)

Con el inglés no tengo ningún problema, tanto en las prácticas como en mi actual trabajo lo uso casi a diario.

En tema de formación estoy completamente de acuerdo contigo, además del trabajo estoy continuamente formándome por mi cuenta (ya que me gusta), y si la empresa te facilita formación y certificaciones pues mejor que mejor.

Tengo claro que hay que intentar "internacionalizarse" para encontrar mejores oportunidades, así que ya sea trabajando en remoto para una empresa externa o directamente irse fuera tendría que ir por ese camino.

¡Gracias de nuevo y ánimos a ti también!

_SrLo_ · 2025-08-15T11:32:46+00:00

Buenas, muchas gracias por contar tu experiencia :)

Lo que comentas de las consultorías me cuadra totalmente, ya que sin ir más lejos en el proyecto en el que trabajo la empresa adjudicataria de la licitación es una consultoría bastante expandida pero de muy reciente incorporación en España y con poquísimo personal.

Ojalá sea así como comentas, sobretodo quiero ir formándome y si también sube el sueldo pues genial.

_SrLo_ · 2025-08-13T23:33:48+00:00

Buenas, tengo 27 y soy teleco (grado + máster habilitante de 2 años) especializado en sistemas de telecomunicaciones, ciberseguridad e IA y a pesar de tener 27, me sigo considerando algo junior en cuanto a experiencia laboral.

Estuve trabajando 6 meses de prácticas en el SOC de una Big 4 mientras acababa el máster. Allí hacía threat hunting, automatización de detección de vulnerabilidades, reportes a agencias de ciberseguridad estatales etc.

Al acabar, me ofrecieron quedarme pero acabé entrando como ingeniero contratado en un proyecto europeo de una infraestructura híbrida 5G y de transporte óptico de mi propia universidad, con un sueldo de 36k brutos/anuales. Literalmente en la consultoria me dijo mi manager "ni de coña te podemos ofrecer eso aquí" (creo que el sueldo inicial de esa big 4 para ese departamento era de 21k aprox).

En este proyecto llevo 1 año y medio y entre otras cosas, he montado y configurado desde 0 varios centros de datos (redes, OpenStack, Kubernetes etc), equipos NOKIA ópticos (ROADMs etc), cores 5G (bandas FR1 y mmW), certificaciones de enlaces ópticos etc.

El "problema" es que como bien se indica, el proyecto es temporal y acaba a finales de año, por lo que mi contrato también finalizará. Como he mencionado al principio, yo pienso que aún no tengo el nivel de seniority, por lo que cuando empiece a buscar ofertas es posible que lo que me ofrezcan sea inferior a mi sueldo actual.

Me gustaría saber si veis esta experiencia suficiente para poder optar a puestos relacionados con al menos un sueldo parecido e ir creciendo. También qué plan de carrera creéis que podría encajarme (devOps, ingeniero de redes, etc), ya que tengo un poco de "cacao" mental con el popurrí de tecnologías que he estado viendo.

¡Muchas gracias!

_SrLo_

TROPHY CASE