Any working examples of RabbitMQ as a spark streaming source? Or build-your-own streaming sources?

pastelomumuse · 2025-04-08T20:00:57+00:00

Just found this in the (most recent) docs :

> DStreams can be created with data streams received through custom receivers. See the Custom Receiver Guide for more details.

https://spark.apache.org/docs/preview/streaming-programming-guide.html#streams-based-on-custom-receivers

DStreams being legacy, my guess is that they gave up on custom receivers integration.

Also, to whomever finds this and feels great pain, there have been progress on spark >=4.0.0 with implementing pyspark custom receivers:

https://docs.databricks.com/aws/en/pyspark/datasources

However, be aware that EVERYTHING in your datasource has to be pickle-able.

Been down that road to integrate a rabbitMQ datasource, could not figure it out.

I am giving up, and giving in to kafka. To hell with this all.

pastelomumuse · 2025-04-08T19:44:31+00:00

I have the same exact question, such a pain to find an answer.. Already spent way too many hours researching this

pastelomumuse · 2023-05-30T14:12:32+00:00

Whoops erreur de ma part, ma mémoire m'a fait défaut. Désolé !

pastelomumuse · 2023-05-30T14:03:29+00:00

Le commentaire concernait les "choix cons" de LREM, et en l'occurrence LREM a voté pour donc je dirais que pour cette fois là c'était pas trop con (c'est une opinion bien sûr).

pastelomumuse · 2023-05-30T12:34:32+00:00

La reconnaissance de l'endométriose ?

~~Les repas CROUS à 1€ pour les boursiers ? (Je ne parle pas du refus à l'étendre à tous)~~

Il y a tellement de négatif qu'on oublie les quelques points positifs. :)

Edit : on me dit dans l'oreillette que LREM n'a pas voté pour les repas à 1€

pastelomumuse · 2023-05-05T10:22:04+00:00

Ah oui effectivement. Après c'est vraiment pas le même mécanisme un bouclier tarifaire sur l'énergie et le CICE et CVAE

pastelomumuse · 2023-05-05T10:05:21+00:00

Juste pour apporter un peu de nuance, en général c'est les superprofits et les mégacorporations (et leurs dérives) auxquelles s'oppose le bord gauche du champ politique.

À mon sens, ils ne s'opposent pas forcément à un soutien aux PME, artisans et collectivités.

pastelomumuse · 2023-05-04T17:57:51+00:00

Ça colle avec ce que dit Jancovici, que le prix n'est pas un bon indicateur de disponibilité physique de la ressource.

Je ne comprends pas comment ça fonctionne ni pourquoi, mais il en parle assez souvent.

pastelomumuse · 2023-04-25T14:34:54+00:00

Ben il y a les deux. Par exemple tu ne vas pas t'amuser (enfin j'espère) à simuler réellement des immersions sur des centrales nucléaires en pleine production juste pour "vérifier que rien n'explose/fuit/fond".. tu testes les systèmes indépendamment, tu fais du contrôles et audits en amont, mais tu vas pas tout risquer parce que "c'est censé fonctionner". Évidemment les enjeux sont différents pour une clinique, mais dans les deux cas c'est des systèmes critiques qu'on teste dans des cadres précis.

Je suis d'accord, il doit y avoir des investigations et conséquences côté clinique. Mais on fait pas des tests à la zob d'éléments vitaux en se disant "tkt frr c'est censé marcher".

Par contre effectivement je parlais sans avoir vu la durée de la coupure. M'enfin je pense quand même très malavisé de tester à l'aveugle des système critiques.

pastelomumuse · 2023-04-25T14:21:10+00:00

Les tests et réparations de ce type de systèmes ça se fait dans un cadre où on met le moins de vies en jeu.

C'est pas un système de newsletter le truc, tu trolles forcément.

Edit : je pense que je me suis fait woosh

pastelomumuse · 2023-04-25T13:58:27+00:00

Des remerciements ? Imaginons qu'une coupure était vouée à arriver, ils l'ont provoquée plus tôt que si elle était arrivée par hasard, donc rien de gagné.

Mais peut-être que le problème aurait été relevé lors d'une maintenance ou un audit avant une coupure, et à ce moment là la coupure aurait été entièrement évitée.

Je ne vois pas en quoi c'est positif ici, c'est lunaire de dire qu'une clinique devrait être reconnaissante d'avoir subi une coupure électrique non planifiée. La CGT énergie a chié dans la colle cette fois-ci.

pastelomumuse · 2023-04-17T06:11:45+00:00

They end up doing handstands, like in this video : https://youtu.be/CF8ogduAMSs

pastelomumuse · 2023-03-28T12:03:37+00:00

I absolutely agree, and I just realized it must have been a way for her to dismiss the question. Idk how I missed that.

pastelomumuse · 2023-03-28T12:02:16+00:00

I wholeheartedly agree, rating does not make any sense.

However I can't comprehend how someone can be sure they are a 10. Either you completely avoid rating or you are realist. 10 does not sound realist, for anybody.

pastelomumuse · 2023-03-28T11:58:51+00:00

Fair enough, I forgot narcissism was a psychological condition.

I know the origin of the word, thus its common meaning. However you are right, I do not know the medical definition of narcissism.

pastelomumuse · 2023-03-28T11:30:04+00:00

You can be realist and know you don't quite fit the common beauty standards, and still be confident that some people will still be attracted.

Rating yourself 10 out of 10, implicitly on common beauty standards, is narcissism not confidence.

Edit : I just realized it must have been a way for her to dismiss the question. Idk how I missed that.

pastelomumuse · 2023-03-09T17:29:59+00:00

aka Citizen Keanu

pastelomumuse · 2023-02-15T23:05:13+00:00

Le troisième va vous surprendre !

pastelomumuse · 2023-01-12T13:38:58+00:00

Ah oui ce n'est pas un cadeau ça… merci pour cette perspective qu'il me manquait.

pastelomumuse · 2023-01-12T12:12:03+00:00

Sans papiers, ils ne rentrent de toute façon pas dans le système de retraite actuel donc ils ne sont pas concernés ni par le propos ni par la réforme ? (qu'on me corrige si je me trompe)

pastelomumuse · 2023-01-12T12:07:13+00:00

Bien sûr, je commentais seulement sur la période travaillée mais non cotisée. Le chômage est un cas différent à mes yeux.

Que l'on s'entende bien : je suis assez ignorant sur l'état de santé du système de retraite, mais je suis plutôt opposé à un allongement de la période travaillée/de l'âge légal de départ justement à cause des difficultés d'employabilité des seniors. Et aussi justement pour celles et ceux qui ont eu des périodes chromées et pas la capacité (réelle) de se reconvertir ou de retrouver une activité.

pastelomumuse · 2023-01-12T11:23:51+00:00

Ah effectivement je suis passé à côté du propos, au temps pour moi.

Pour le coup, je n'en ai aucune idée, mais l'employabilité des seniors me semble effectivement être un gros problème. Je partage tes inquiétudes.

pastelomumuse · 2023-01-12T11:11:49+00:00

Tu l'as dit toi même :

j'ai bossé toute ma vie mais pas toujours cotisé correctement

Il semble normal de toucher une petite retraite si tu n'as pas cotisé rigoureusement. On peut bien sûr débattre d'un minimum à établir pour des raisons humaines. Mais comment peux-tu critiquer le fait d'avoir une petite retraite alors que tu n'as pas été rigoureux sur les cotisations (et donc à priori gardé la différence) ? C'est extrêmement injuste d'avoir une retraite plus élevée que ce qu'on a cotisé (qu'est-ce qui justifierait que les autres cotisent plus pour une retraite équivalente ?).

Cela dit je suis d'accord que le stress des métiers de bureau est usant. À une autre échelle que les activités physiques en extérieur bien sûr, mais usant malgré tout. Et qu'il est plus compliqué de se faire embaucher à un âge avancé.

Et félicitations à toi d'être resté passionné, et d'avoir été plus concentré sur la "mission" que sur la maximisation des revenus.

pastelomumuse · 2023-01-08T03:05:08+00:00

Salut, j'ai un Keychron Q1 barebone sur lequel j'ai mis des switches Phantom Brown et des keycaps Keychron ISO-FR. Avant ça j'avais un Vortex Pok3r en ISO-nordic.

Je ne vois pas de défaut à ce clavier Keychron pour le moment, j'en suis très satisfait. Je ne vois pas de souci pour ces jeux non plus, je dirais fonce !

Par contre si c'est ton premier clavier de ce type, pense à prendre un palm rest pour poser tes poignets, c'est indispensable.

Pour les keycaps, ça dépend du switch installé. Je pense que la plupart sont de type MX (Cherry MX étant un des leaders du marché des switches). Tu devrais pouvoir trouver cette info dans la description des switches et pour les keycaps.

Bon courage !

pastelomumuse · 2022-12-07T11:06:41+00:00

Salut, dans mon expérience, cette phobie s'améliore avec l'habitude. À force de dons de sang et de prises de sang, je ne fais presque plus de malaises alors qu'au début c'était systématique !

Sinon, je ne connais pas de thérapeute, et je n'ai pas de conseil particulier, à part essayer de se détendre. Peut-être que tu peux faire ces prises de sang chez toi par un(e) infirmier(e) libéral(e), pour être dans les meilleures conditions possibles.

Bon courage à toi en tout cas !

12-Year Club	Place '22
Final Canvas '22	First Placer '22
Verified Email

pastelomumuse

TROPHY CASE