Du meinst sicher das Fenster was sich öffnet, worin man dann eine Nachricht schreibt? ... also das sollte sich nach dem betätigen des Senden Buttons automatisch schließen, wenn es das nicht tut, liegt es meistens an Javascript Konflikten.
Das einfachste wäre fürs erste, mal andere Templates auszuprobieren (sowohl Joomla auch Jomsocial) Template.

Das kam mir auch in den Sinn.
Templates habe ich ausprobiert...sowohl Joomla selbst als auch JomSocial.
Das Problem besteht aber weiterhin.

Dann geht die Suche weiter bei Plugins. Schaue doch mal in den Quelltext der Seite mit dem Problem, was da alles an Scripten geladen wird. Ist es bei jedem Jomsocial Popup-Fenster so, zB auch dem Benachrichtigungsfenster oder nur auf einer Profilseite? Wenn es nur auf Profilseiten so ist, sollte es an einer Jomsocial App (Plugin) liegen.

Danke für deine Ansätze.
Die Lösung war allerdings mehr als simpel. Es lag an der Sprachdatei. Dort musste eine Zeile ersetzt werden.

COM_COMMUNITY_SENT_YOU_MESSAGE="{actor} Text {msg}"

Daran hat es gelegen. Wer also auch das Problem hat, einfach nach COM_COMMUNITY_SENT_YOU_MESSAGE in der Sprachdatei suchen und den String einsetzen. Schon klappt es.

Welche Jomsocial Version verwendest Du denn?
Verwendest Du die Sprachdatei von hier? Ich habe extra nochmal nachgeguckt, und in meinem 2.6er Paket stimmt der String so.
Der String sieht in meinem Sprachpaket so aus:
COM_COMMUNITY_SENT_YOU_MESSAGE="{actor} hat Dir eine {msg} gesendet"
Das Originale englische so:
COM_COMMUNITY_SENT_YOU_MESSAGE="{actor} sent you a {msg}"

Hallo.
Nein. Nicht von hier. Ich hatte vorher die 2.6 Sprachdatei (wie gesagt, nicht von hier) drauf. Und dort war der String anders.
Zum Glück ja aber den Fehler gefunden. So wie du es hier oben gepostest hast, ist es richtig.