Rewolucja 1905-1907 roku zakończyła się klęską. Lugańska organizacja bolszewicka została rozbita. Woroszyłowa aresztowano i zesłano do guberni archangielskiej, skąd zbiegł na południe, do

Baku, gdzie w 1908 r. pracował razem ze Stalinem jako członkiem bakijskiego komitetu bolszewików. Wkrótce jednak aresztowano go ponownie. Do 1912 r. przebywał w różnych więzieniach i na zesłaniu w odległych miejscowościach guberni archangielskiej.

Po zwolnieniu z zesłania. Woroszyłow powrócił do Zagłębia Donieckiego, gdzie wznowił działalność wśród robotników. Został jednak znów aresztowany i zesłany do guberni permskiej. Po roku odzyskał wolność na mocy amnestii. Była to amnestia z okazji trzechsetlecia dynastii Romanowów.

Pobyt w Zagłębiu Donieckim był niebezpieczny, postarał się więc o pracę w fabryce zbrojeniowej w Carycynie. Tam zastał go wybuch I wojny światowej. Wielu bolszewików nie uchylało się od poboru do wojska. Szli na front, aby uprawiać bolszewicką agitację i przygotowywać armię do udziału w rewolucji. Woroszyłow postanowił jednak uniknąć mobilizacji. Dlatego opuścił wraz z rodziną Carycyn i po pewnym czasie urządził się w Piotrogrodzie, gdzie pracował w niewielkiej fabryce kotłów i nawiązał kontakt z nielegalnym komitetem miejskim bolszewików. W Piotrogrodzie zastała go rewolucja lutowa.