X se basa en un modelo de cliente-servidor. Un programa servidor X se ejecuta en un ordenador con una interfaz gráfica y se comunica con varios programas clientes. El servidor acepta pedidos para salidas gráficas (ventanas o "windows") y envía señales de entrada del usuario (teclado, ratón).

En X Window, el servidor se ejecuta en el ordenador del usuario, mientras que los clientes pueden ejecutarse en ordenadores distintos. Esto es exactamente al revés que la configuración usual de los sistemas cliente-servidor, donde el cliente se ejecuta en el ordenador del usuario y el server se ejecuta en un ordenador remoto. Ésta inversión a menudo resulta confusa para nuevos usuarios de X. La terminología de X Window toma el punto de vista del programa, en lugar del punto de vista del usuario o el hardware: los programas remotos se conectan a la interfaz gráfica del servidor X que se ejecuta en el ordenador local, y por lo tanto actúan como clientes; la interfaz gráfica X local acepta el tráfico de ingreso, y por lo tanto trabaja como un servidor.

El protocolo de comunicación entre el server y el cliente se ejecuta en forma transparente con respecto a la red: el cliente y el server pueden ejecutarse en el mismo ordenador o en ordenadores diferentes, y hasta con distintas arquitecturas y sistemas operativos. Un cliente o un servidor se pueden comunicar en forma segura a través de Internet, utilizando tunneling la conexión se realiza en forma cifrada.

• Protocolo base de X Window System
• Xlib

• Robert W. Scheifler and James Gettys: X Window System: Core and extension protocols, X version 11, releases 6 and 6.1, Digital Press 1996, ISBN 1-55558-148-X
• An Introduction to X11 User Interfaces
• Introduction to X Window
• Open Source Desktop Technology Road Map (Jim Gettys, 09 Dec 2003)

• Fundación X.Org (página oficial)
• Las páginas de Kenton Lee sobre X Window y Motif Archivado el 20 de mayo de 2013 en Wayback Machine.