Już w Kościele pierwszych wieków przyjął się zwyczaj, że wierni czynili znak krzyża na sobie, na innych osobach lub na pewnych przedmiotach. Ten znak zbawienia towarzyszył nie tylko modlitwie, ale prawie każdej czynności chrześcijan od momentu powstania ze snu do udania się na spoczynek. Potwierdza to już na początku III wieku Tertulian w traktacie „O wieńcu”: „Na każdym kroku, czy wychodzimy z domu, czy wchodzimy; przy ubieraniu szat i obuwia; czy siadamy, czy wstajemy od stołu; czy korzystamy z kąpieli; przy zapalaniu światła; kiedy kładziemy się do łóżka i kiedy siadamy, we wszystkich okolicznościach czynimy sobie znak krzyża na czole”. Podobnie pisał św. Cyryl Jerozolimski (IV wiek): „Ufnie czyńmy znak krzyża palcami na czole i na wszystkim: na chlebie, który spożywamy, na kielichu, który pijemy, przy wejściu i przy wyjściu, przed snem, kładąc się na spoczynek, przy wstawaniu, chodzeniu i spoczynku!”.

Od najwcześniejszego chrześcijaństwa mocno akcentowano znaczenie apotropaiczne znaku krzyża; miał on być obroną przeciw demonom, a także przeciw siłom natury i chorobom. Już w Tradycji Apostolskiej (dokument z III wieku) autor pisał takie słowa: „Starajcie się zawsze osłaniać czoło znakiem krzyża. Jest to bowiem znak męki, dany przeciwko szatanowi, jeżeli ktoś czyni go z wiarą, a nie dla dogodzenia ludziom, ale żeby przez znajomość używać go jako pancerza. Wróg bowiem widząc duchową cnotę wychodzącą z serca, podobnie jawnemu obmyciu drżąc poczyna uciekać, kiedy nie ustępujesz mu, pobudzasz samego siebie. To samo było w praobrazie mojżeszowego baranka, którego przynieśli jako ofiarę na Paschę i którego krwią (Mojżesz) kropił [próg], pomazując obie futryny drzwi, a to oznacza wiarę w doskonałego Baranka, która jest w nas. Osłaniając ręką czoło i oczy, odpędzamy tego, kto zamierza nas zgubić”. Podobnie nauczał wspomniany już św. Cyryl Jerozolimski: „Jest on wielką obroną. Nie muszą za niego płacić ubodzy, trudzić się słabi. Od Boga jest nam dany jako łaska. Krzyż jest znakiem wierzących, postrachem szatanów. W krzyżu odnosi triumf nad nimi wierzący, jeśli się nim znaczy z ufnością. Na widok krzyża przypominają sobie Ukrzyżowanego. Lękają się Tego, który smokowi starł głowę. Ceń tę pieczęć, a ponieważ jest darmo dana, czcij tym więcej Dobroczyńcę!”.

Początkowo znak krzyża kreślono palcem, tzw. mały znak, przede wszystkim na czole, a więc na najbardziej widocznej części ciała. Zdaniem św. Augustyna, kładąc „swój znak na czole, niejako siedlisku wstydliwości”, okazujemy, że nie wstydzimy się krzyża. Św. Hipolit Rzymski wspomniał dodatkowo uszy i nos. Św. Cyprian wymienił jeszcze oczy i usta: „Włóżmy również duchowy hełm dla ochrony głowy, aby umocnił uszy; żeby nie słyszały zgubnych edyktów, aby chronił oczy przed widokiem wstrętnych bałwanów, niech umocni czoło, aby znak Boga pozostawał nieskalany, niech ustom użyczy mocy, by język zwycięsko wyznał swego Pana, Chrystusa”. Inne świadectwa mówiły o czynieniu znaku krzyża na górnej wardze, na piersi, na chorym organie. Aż do IX wieku celebrans, rozpoczynając Eucharystię, znaczył krzyżem tylko czoło. Natomiast zwyczaj znaczenia czoła, ust i klatki piersiowej (serca) przyjmuje się dopiero od XII wieku.

Prawdopodobnie od VIII wieku zaczęto stosować tzw. duży znak krzyża, jaki praktykowany jest obecnie, a w IX wieku praktyka ta stawała się powszechna. Wykonując duży znak krzyża, trzema palcami dotykano czoła i piersi, a następnie kierowano je od prawego do lewego ramienia. Zwyczaj żegnania się od lewego do prawego ramieniu przyjął się na Zachodzie od XI wieku. Duży znak krzyża czyniono, mając trzy palce: kciuk, palec wskazujący i środkowy wyprostowane i złączone, a pozostałe palce zgięte ku dłoni. Wykonywanie znaku krzyża całą dłonią (pięć palców odnoszono do pięciu ran Chrystusa) poświadczone jest w XI wieku.

Nie wiemy dokładnie, czy wykonywaniu znaku krzyża towarzyszyły jakieś słowa. Przypuszcza się, że chrześcijanie mogli powtarzać słowa, które słyszeli w czasie chrztu: „Ja ciebie chrzczę w imię Ojca i Syna, i Ducha Świętego”. Mogły to być także inne formuły, jak np.: „W imię Trójcy Świętej”; „Chwała Ojcu i Synowi, i Duchowi Świętemu”; „Święty Boże, święty mocny, święty nieśmiertelny”; „W imię naszego Pana Jezusa Chrystusa”; „Panie, pośpiesz ku ratunkowi memu”. Formuła trynitarna: „w imię Ojca i Syna, i Ducha Świętego” potwierdzona jest od IV wieku.