Budzyński był wówczas absolwentem liceum plastycznego w Nałęczowie. Miał też za sobą przerwane po pierwszym roku studia z historii sztuki na Katolickim Uniwersytecie Lubelskim.
W swojej autobiografii pisze: „Myślałem o tym, aby założyć kapelę z kolegami, z którymi siedziałem na ławce pod blokiem, byli to Sex i Borys [takie ksywy]. Spotkaliśmy się w domu u wysokiego rudego chłopaka, który grał na basie. Gitary podłączaliśmy sobie do radia. Borys grał na krześle, a ja śpiewałem bez mikrofonu. Ćwiczyliśmy numer Joy Division »Transmission«. Któregoś dnia wpadł do mnie Sex z [Tomaszem] Adamskim, mówiąc, że w domu kultury »Mozaika« odbywa się przegląd miejscowych kapel rockowych. Poszliśmy i na schodach wpadliśmy na pomysł, aby dla jaj założyć zespół i zgłosić się do konkursu (…) Na poczekaniu wymyśliłem nazwę – »Siekiera«”.
Ostatecznie Budzyński i jego kompani w lokalnym konkursie nic nie osiągnęli. Ale bynajmniej to ich nie zraziło. Choć Sex (gitara basowa) i Borys (perkusja) po rozmaitych awanturach opuścili grupę, to znaleźli się ich następcy. Tymczasem Budzyński jako wokalista był frontmanem zespołu, a teksty i muzyka stanowiły dzieło Adamskiego. To głównie oni dwaj kształtowali ówczesne oblicze Siekiery.
Grupa z Puław grała wtedy punk rock (zaczynała zresztą od coverów czołówki tego nurtu: UK Subs, Discharge czy The Exploited). Słuchając kawałków Siekiery z tamtego czasu – chwilami trudno wychwycić jakąkolwiek melodię. Był to jeden wielki przeraźliwy łomot.
Czy stała za tym jakaś koncepcja artystyczna, idea? Budzyński w swojej książce zwraca uwagę, że na początku lat 80. przeważająca część polskiej sceny punkrockowej zaczęła serwować lewacki przekaz, który docierał do PRL rozmaitymi kanałami z USA. Wiele zespołów demonstrowało wrogość wobec chrześcijaństwa oraz będących u władzy w Ameryce Republikanów (szwarccharakterem był prezydent Ronald Reagan). Tymczasem Budzyński nie pojmował negatywnego stosunku anarchistów zza oceanu do postaci Jezusa, którego postrzegał wówczas jako zasługującego na ich uznanie radykała.
I tak puławski band poszedł własną oryginalną ścieżką. W „Soul Side Story” czytamy: „Teksty Siekiery kompletnie różniły się od tych wytycznych [z USA], a nawet skandalicznie nie podejmowały problemu zła tkwiącego w Ronaldzie Reaganie. Dla nas straszniejszy był swojski pies Burek. Pojawiały się karły, zwierzęta i różne surrealistyczne stwory, jak na przykład sierściotłuki, a także zwykły prosty lud. Wojna toczyła się, a i owszem, ale tuż za wiejskim płotem, a nie w Sydney czy Salwadorze. Jak już coś płonęło, to raczej pobliska Końskowola. Wszystko to bardziej przypominało rysunki Witkacego, którego twórczość Adamski wielbił, albo obrazy Boscha niż punkowe fanziny. Adamski porównuje to wszystko do samomasochistycznego teatru absurdu. Ja się z tym całkowicie zgadzam”.