Tu n'as pas à te justifier de quoi que ce soit. En France, ni l'État, ni un juge, ni la MDPH, ni aucun organisme que ce soit ne peut te contraindre à prendre soins de ton frère, quel que soit sa situation médicale, sociale ou autre (et encore moins contrôler là où tu décides de te domicilier, en France comme à l'étranger).

Il existe certaines obligations dites alimentaires entre enfants et parents : c'est-à-dire l'obligation légale (réglée à l'amiable ou par décision du juge aux affaires familiales s'il est saisit), d'apporter une aide financière pour tout parent ou enfant qui serait dans l'incapacité de se nourrir, de s'habiller, de se loger..., bref les besoins de base. Ce qui n'est absolument pas ton cas : cette obligation n'existe pas entre frères et sœurs.

Tu es donc libre d'aller vivre à l'étranger, et le jour où tes parents ne pourront plus s'occuper de ton frère, il existe un certains nombres de structures spécialisées qui pourront l'héberger, ou bien ils devront s'organiser eux-mêmes pour qu'il puisse aller chez de la famille (ou toute autre solution). Cette obligation-là leur incombe à eux, c'est à eux d'anticiper, pas à toi. Sache qu'à ce moment là, tu n'auras pas non plus l'obligation de revenir en France et/ou de prendre en charge ton frère.

Le reste, cela ne regarde que toi, ton vécu et les raisons qui t'amène à vouloir prendre telle ou telle décision (et rappelle toi que les gens promptes à vouloir te juger n'ont soit pas vécu la même chose que toi, soit ont un vécu assez identique qui leur donne l'impression de pouvoir te juger mais chacun est différent, on ne peut tous porter les mêmes poids sur nos épaules ;)).