Guten Morgen Aloscita,
Das stimmt, eine Wespenkönigin gibt nicht so schnell auf und versucht irgendwie an ihr Nest und somit an die Eier oder Larven zu kommen.
Somit hast du den Zugang mit der Socke nicht richtig abgedichtet.
Nach deiner Standortbeschreibung - Nest in der Wand -, gehe ich ganz stark davon aus, dass es sich bei dir um die Deutsche- oder Gemeine Wespe handelt. Beide Arten sind "Dunkelhöhlennister" und werden in der Individuen Anzahl recht groß. Kannst ja mal im Internet nachsehen ...
Du beschreibst deinen Balkon als "klein und Raucherplatz", ohne Ausweichmöglichkeit.
Der Zigarettenrauch stellt kein Problem dar, wenn du ihn nicht direkt in das Einflugloch bläst

.
Die Flugbahn in der Nähe eines Wespennestes zu verstellen oder dort hinein zu geraten ist nicht gut und kann die Verteidigung des Nestes hervorrufen.
Somit solltest du wirklich jetzt versuchen, nochmals abzudichten, wenn die Königin abgeflogen ist. Oder so vorzugehen, wie ich es dir oben beschrieben habe.
Sollte das tatsächlich nicht klappen, kannst du eventuell mit einer Stoffbahn (Bettlaken) oder ähnliches den Einflug vom Balkon abtrennen, sodass der Flugverkehr umgelenkt wird und nicht über den Balkon abläuft sondern gezielt an an einer Ecke geflogen wird.
Wenn du jetzt ordentlich und wie beschrieben arbeitest, hast du später keine Probleme mehr und kannst deinen kleinen Balkon im Sommer nutzen.
Viele Grüße
Peter