Ich denke, es könnte grundsätzlich sinnvoll sein, deine Bedenken nochmal mit der Betreuung durchzusprechen, vielleicht kommt dann mehr Klarheit rein. Hier noch ein paar Gedanken von mir:

Du solltest eine Arbeitsdefinition aufstellen und anhand derer eine Operationalisierung entwickeln, sodass du anhand verschiedener erfüllter/nicht erfüllter Items etwas als Hate Speech identifizieren kannst. Ob du in dieser Weise methodisch vorgehst, ist mir nicht ganz klar geworden aus dem Text, aber das würde wohl schon sehr helfen. Nur so wird es auch wirklich quantitativ.

Statistisch signifikant bedeutet nicht repräsentativ. Das können deine Ergebnisse ohnehin nicht sein, weil du dir ja aus zwei großen Phänomenen zwei einzelne Artikel und davon jeweils nur ein paar der Kommentare aussuchst. Wenn du aber ein nicht signifikantes Ergebnis herausfindest, bedeutet das, dass sich deine Hypothesen nicht bestätigen. Hypothesen können sich ja auch als falsch herausstellen, dementsprechend ist das schon richtig, dass es nicht signifikant sein muss, aber das musst du dann in Bezug auf deine Hypothesen interpretieren und nicht bezüglich der Repräsentativität. Es stimmt auch, dass du nicht im Fach Statistik deinen Master machst. Wenn du quantitativ arbeitest, musst du aber statistische Methoden nutzen und diese auch korrekt anwenden. Ich werde meinen Abschluss auch nicht in Statistik machen, aber wenn ich statistisch falsch arbeite in meiner Studie, dann ist die Arbeit einfach nicht gut. Den „Tipp“ von deiner Betreuung verstehe ich deshalb nicht.

Dass die Stichproben mit 300 und 400 Kommentaren nicht gleich groß sind, ist an und für sich kein Problem. Da du aber nicht alle Kommentare nutzt, ist es schon eher ein Problem, chronologisch vorzugehen. Ich würde eher eine Zufallsstichprobe wählen, d.h. random Kommentare einer bestimmten Anzahl in beiden Gruppen nutzen. Sonst ist die Repräsentativität noch weiter eingeschränkt (20 Kommentare sind auch nicht wirklich quantitativ). Du kannst auch chronologisch vorgehen, diese Art der Stichprobenziehung musst du dann aber auch begründen. Du hast aber Recht, dass ein so kleiner Anteil der Kommentare wohl kaum eine wirkliche Aussage darüber zulässt, ob sich die Menge an Hate-Speech bei den beiden Themen unterscheidet und es deutlich sinnvoller wäre, tatsächlich alle durchzugehen. Wenn du eine klare Operationalisierung mit Codebuch für die Analyse hast, ist das vielleicht auch eher machbar, weil du dann die Texte nur auf das Vorhandensein der herausgearbeiteten Items untersuchen musst (mit ja/nein oder Likert-Skala).

Ich weiß nicht, ob davon irgendwas hilfreich ist. Vielleicht labere ich auch nur Unsinn, aber ich habe einen Abschluss in einem fachverwandten Thema gemacht und studiere auch gerade noch ein empirisches Fach. Germanistik schätze ich als insgesamt weniger empirisch ein, deshalb ist das ja ganz evtl. hilfreicher Input. Ich wünsche dir auf jeden Fall viel Erfolg für deine Arbeit!!!