Soit E un en semble et G un groupe.

Une 'opération' (à gauche) de G sur E, consiste en la donnée d'une application (loi externe) de G×E:→E (g,x)→g.x possédant les propriétés suivantes:
  1. (gh).x=g.(h.x) ∀(g,h)∈G×G et ∀x∈E
  2. 1.x=x ∀x∈E où 1 désigne l'unité de G.
La donnée d'une action d'un groupe G sur un ensemble non vide E, équivaut à la donnée d'un morphisme γ:G→S(E) de G dans l'ensemble S(E) des permutations de E.

Soit en effet γ(g) l'application x→g.x de E dans E. γ(g) est injective car γ(g)(x)=γ(g)(y) équivaut à g.x=g.y donc g-1.(g.x)=g-1.(g.y) soit (gg-1).x=(gg-1).y soit x=y. γ(g) est surjective Soit y∈E il faut montrer qu'il existe x tel que g.x=y. Or cette équation en x possède la solution g-1.y. Il est clair par ailleurs que γ(gg')=γ(g)$\circ$γ(g'), ce qui complète la démonstration du fait qu'une opération de groupe définit bien un morphisme de G dans S(E).

Réciproquement à partir d'un tel morphisme, posant par définition g.x=γ(g)(x), on obtient une opération telle que définie plus haut.

On dit que G opère 'fidèlement' sur E si le morphisme γ ci-dessus est injectif, c'est à dire si son noyau est réduit à 1, c'est à dire si le seul élément g de G tel que g.x=x ∀x∈E est l'unité de G.
Soit x un élément de E on note ΩG(x) où Ωx lorsqu'il n'y a aucune ambiguïté sur G, l'ensemble des g.x avec g∈G. ΩG(x) s'appelle "l'orbite" de x.
Sur l'ensemble E, la relation x≡y ⇔ ∃g |y=g.x est une relation d'équivalence dont les classes sont les orbites des divers éléments de E.
La relation est évidemment réflexive, transitive et symétrique à cause de la définition de l'action d'un groupe. La classe de x est l'orbite de x. Les orbites forment donc une partition de E.
On dit que G opère 'transitivement' sur E, s'il n'y a qu'une seule orbite, c'est à dire s'il existe un x tel que Gx=E
Si G opère sur E et si x est un élément quelconque de E. On désigne par Gx={g∈G|g.x=x}. Alors Gx est un sous-groupe de G.
Il est clair que Gx est stable pour la loi de G et que 1∈Gx. Par ailleurs si g∈Gx g-1.g.x=g-1.x puisque g∈Gx, mais on a aussi g-1.g.x=(g-1g)x=1.x=x d'après les axiomes d'une opération de groupe.
Gx s'appelle le 'stabilisateur' de x, ou encore le "groupe d'isotropie" de x.
Le noyau du morphisme γ ci-dessus n'est autre que l'intersection de tous le stabilisateurs des éléments de G.
En effet g∈Ker(γ)⇔γ(g)=Id⇔gx=x∀x.

Un point x est dit 'fixe' pour l'action de G ssi son stabilisateur est égal à G entier, c'est à dire g.x=x∀g∈G.

Nous notons FG(E) l'ensemble des points fixes de E par G, c'est à dire ceux dont les orbites sont constituées d'un seul point.

Plus généralement si A est une partie de E, et si gA={g.x |x∈A} le 'stabilisateur' de A est l'ensemble des éléments g de G tels gA=A. Ce stabilisateur sera noté GA. C'est un sous-groupe de G
Notons que nous nous contentons ici d'une invariance 'globale' et pas nécessairement 'point par point'.