Der gik ret lang tid fra den administrative beslutning om at han og hans familie skulle udvises, til det blev endeligt. Horst brugte alle midler for at få lov at blive i Sverige.
Han havde en for tiden rimelig indtægt:
I denne periode var han repræsentant for en avis fra Berlin og der fik han 500 Rigsmark om måneden. Hans Kaptajn pension gav 200 Rigsmark om måneden og øvrige småjobs som f.eks. oversættelse mv. gav yderligere 150 Svenske kroner pr måned. Dertil hvad han har fået “under bordet” i kraft af hans spionage virksomhed.
I 1932 (16/1) bor Asta’s mor i Sverige og lever af hendes formue. Hun bidrager via den til husholdningen bl.a. ved at betale den ene af de to der er ansat i husholdningen.
Han blev udvist af Sverige og skulle rejse senest den 18. december 1931. Horst skrev til den Svenske konge og anmodede om at få forlænget hans opholdstilladelse, så sagen kunne blive undersøgt nærmere. Dette blev med givet ham, men trods en kort undersøgelse kom der ikke noget nyt frem, til hans fordel.
I forbindelse med hans udvisning, forsøgte han at få lov at blive i Sverige. Han brugte som argument at han ikke kunne vende tilbage til Tyskland og at andre lande næppe ville have ham. De Svenske medier var uden nåde; ”At det kan være ubehageligt for den våbensmuglende kaptajn at komme til Tyskland, må være sandt – men hver og en står jo til ansvar for signe egne gerninger. Og nogen anger over for hans fortid har han ikke vist” (Aftonbladet, 8. januar 1932)
Horst kontaktede NSDAP’s hovedkontor i Berlin og fik en skrivelse der dokumenterede at han ikke var medlem af partiet, hverken i Tyskland eller Sverige. (9. januar 1932) Horst var ikke medlem af NSDAP (det blev undersøgt efter krigen), men han skrev til dem for at kunne underbygge at han ikke gik nazisternes ærrinde – hvilket ikke helt var sandheden – et bluf nummer af de helt store.
Så sent som 14. januar 1932, prøver han igen at kontakte kongen to gange på samme dag – dog uden positivt resultat. Han fik dog en tilkendegivelse sendt til kongen fra hans tidligere chef for ”The Temple Tea” i Göteborg – denne skrev meget positivt om ham som en arbejdsom person og støttende i forbindelse med firmaets mange aktiviteter.
Han fik udtalelse fra Högmann som angav at det ikke var kendt at våbenen skulle overleveres til fascistisk gruppe (15. januar 1932) (Högmann var den drivende kraft i våbenforsendelsen)
Chefen for det Svenske justitsdepartement, Statsråd Gärde, anbefalede kongen om at Horst’s anmodning ikke skulle godkendes. Dette blev understøttet af den Svenske udenrigsminister Sten Gustaf Fredrik Troil Ramel, der dog anbefalede en mindre udsættelse af humanitære hensyn. (17. januar 1932)
18/1 1932: Det var samtaler mellem Sverige og Danmark (Grev Reventlow). Der var store betænkeligheder ved at tage i mod Horst, grundet hans delagtighed i drabet på Liebknecht. Man var nervøs for et folkeligt angreb mod regeringen da sagen ikke var populær. Man udtalte dog at det senere måske ville være muligt, men kun forudsat at dette ikke kom frem.
Den danske regering var meget nervøs for at det kom frem i pressen at man var positiv for at lade ham rejse ind i landet. Alt stod eller faldt på om sagen kom i avisen.
Netværket i Sverige, de mange kontakter og de mange rejser viser at han tydeligvis udførte spionage i Sverige og de øvrige Skandinaviske lande. Han var ikke bange for at tage til Tyskland og havde flere rejser til Danmark. Jeg har ikke fundet noget i de Svenske arkiver der underbygger dette – enten er min vurdering forkert eller også er han bare ikke blevet opdaget…
Efter udvisningen tog han og hans familie et kort ophold i Norge.