Pochwalić mógł się już stopniem kapitana i najwyższym odznaczeniem wojskowym w austriackim wojsku, Wojskowym Medalem Zasługi (Signum Laudis). Mimo to w 1911 r. był już w stanie spoczynku. Mógł się także pochwalić wprowadzeniem do szkoły oficerskiej języka polskiego. Więcej jednak armia zaoferować mu nie mogła. Jako potomek powstańców (ojciec walczył w powstaniu styczniowym, dziadek był żołnierzem w czasie powstania listopadowego), pragnął działać na rzecz ojczyzny. „Osiągnąwszy stopień kapitana, nie mogąc się niczego więcej w artylerii austriackiej nauczyć, opuszczam ją, by w inny sposób służyć krajowi, aż do chwili, w której Ojczyzna mnie będzie potrzebowała” – przekonywał.
Prekursor harcerstwa i działacz rolniczy
Chociaż został zapamiętany jako wojskowy, to jego zasługi znacznie wykraczają poza oręże. Bardzo aktywny był… w społeczności rolniczej. Od 1912 r. pracował jako inspektor w Towarzystwie Kółek Rolniczych, gdzie organizował szkolenia. Haller stał się także prekursorem polskiego harcerstwa, które raczkowało wówczas jako ruch skautowy pod Towarzystwem Gimnastycznym „Sokół”. To właśnie on ukuł termin „harcerza” oraz stworzył zawołanie „Czuwaj!”. Pod okiem doświadczonego wojskowego młodzież uczestniczyła w tajnych kursach żołnierskich, a wielu z harcerzy znalazło się potem w niepodległościowych legionach. Po wybuchu Wielkiej Wojny Haller znów sięgnął po broń. Kiedy wydano rozkaz do sformowania Legionów Polskich, we Lwowie powstał Legion Wschodni, zasilony m.in. przez podopiecznych Hallera z różnych organizacji paramilitarnych. Po likwidacji Legionu Wschodniego jako kapitan walczył z Rosją w Legionach Polskich Piłsudskiego. W 1915 r. służył już w stopniu pułkownika.
Traktat brzeski przelał czarę goryczy
Podczas kryzysu przysięgowego Haller zdecydował się podporządkować niemieckiemu cesarzowi Wilhelmowi II. Za przykładem Hallera poszło 60 oficerów i 1250 żołnierzy, z których większość walczyła w jego II Brygadzie. Żołnierzy Hallera włączono do austriackiego Polskiego Korpusu Posiłkowego. Cierpliwość wojskowego skończyła się po zawarciu przez zaborców i rosyjskich komunistów traktatu brzeskiego. Do negocjacji nie dopuszczono Polaków, a z ustaleń wynikało, że polskie oddziały zostaną rozbrojone. Podczas buntu polskie oddziały stoczyły bitwę pod Rańczą, dzięki czemu udało się przerwać front austriacki. Następnie pułkownik przebił się ze swoim wojskiem do Rosji, gdzie przejął 5. Dywizję Strzelców Polskich, a niedługo później objął dowodzenie nad całym II Korpusem Polskim na Ukrainie. 7 kwietnia 1918 r. został generałem. Niemcy uważający, że działania Polaków stoją w sprzeczności z traktatem brzeskim, dążyli do rozbrojenia wojsk Hallera. 11 maja 1918 r. II Korpus Polski stoczył z żołnierzami cesarstwa bitwę pod Kaniowem na Ukrainie. Stracili 1500 żołnierzy, Polacy – około tysiąca. Walka skończyła się jednak klęską korpusu. Wbrew ustalonym warunkom kapitulacji polscy jeńcy zostali ograbieni i wzięci do niewoli. Przegrana pod Kaniowem była ogromnym ciosem dla narodu polskiego. Haller pod fałszywym nazwiskiem „Mazowiecki” dostał się do Moskwy, gdzie na czele Polskiej Komisji Wojskowej starał się odbudować polskie wojsko w Rosji, ale udało się to dopiero we Francji. Tam generał dołączył do Komitetu Narodowego Polski, od którego otrzymał dowództwo nad powstającym polskim wojskiem, które później nazwano Błękitną Armią. Do służby przyjmowano ochotników, a tych nie brakowało. Do oddziałów Hallera zapisywali się Polacy, którzy do tej pory walczyli pod sztandarem Francji, jeńcy z armii zaborców.
Armia Hallera
Ważnym punktem rekrutacji był Tadeusz Kościuszko Camp, obóz szkoleniowy działający miasteczku Niagara-on-the-Lake, między Kanadą i Stanami Zjednoczonymi. Zaciągali się polscy emigranci, którzy do Francji przyjeżdżali z USA czy Brazylii, a nawet potomkowie Polaków, którzy kraj ojców znali tylko z opowieści. Pod koniec września 1918 r. armia Hallera była już uznawana za oficjalną polską armię po stronie ententy. W czerwcu 1919 r., kiedy armia znalazła się już w Polsce, w jej szeregach było ok. 68 tys. osób. Józef Haller pojechał z pierwszym transportem żołnierzy. W nocy z 19 na 20 kwietnia wreszcie stanął na ojczystej ziemi. Z Leszna Wielkopolskiego wysłał depeszę do Piłsudskiego. W odpowiedzi Naczelnik napisał: „Przyjemnie mi było w świeżo zdobytym Wilnie z zachodniego końca Polski otrzymać od Generała depeszę o Jego przyjeździe do kraju. Proszę w moim imieniu wyrazić podwładnym Mu oficerom i żołnierzom moją radość z przybycia ich do Ojczyzny i pewność, że, jak każdy prawy żołnierz polski, osłonią zwycięsko zagrożone granice kraju”. Kilka dni później w Warszawie Haller był witany jak bohater narodowy i uznany Honorowym Obywatelem miasta. Błękitna Armia wzmocniła tworzące się wojsko polskie nowoczesną bronią i pojazdami. Jasne było, że chociaż Polska odzyskała wolność, to walka o jej utrzymanie dopiero się zaczynała.