Общий метод предполагает сборку и установку из исходных текстов, однако большинство дистрибутивов GNU/Linux предоставляют уже собранные бинарные компоненты (пакеты).
Следует учитывать, что большинство дистрибутивов устанавливают графическую оболочку и, естественно, сам сервер X в процессе процедуры установки с CD/DVD дисков.
Для персональных десктопов такой способ является удобным и достаточным.
Минусом такого автоматизированного подходя является то, что обычно в качестве графических сред рабочего стола пользователю навязываются самодостаточные монстры типа GNOME, KDE, реже Xfce.
Если необходимо собрать минимальную систему с лёгким оконным менеджером (терминал, специализированное рабочее место), нужно при установке дистрибутива отказаться от установки графической оболочки или окружения рабочего стола (прим: может называться по разному).
Установка сервера X.Org в дистрибутивах Debian/Ubuntu:
user@host: ~$ sudo aptitude install xserver-xorg или user@host: ~$ sudo aptitude install x-window-system
Из сетевых репозиториев или установочных DVD будет скачено/скопировано около 60 MB пакетов. В распакованном виде на диске они займут около 150 MB.
yum xorg ??? 
Все настройки сервера X (не путать с настройками оконных менеджеров и графических сред рабочего стола) сосредоточены в каталоге «/etc/X11».
Основной конфигурационный файл - xorg.conf.
Несмотря на то, что существуют большое количество утилит для настройки сервера X, но Вы должны знать в конечном итоге все они правят файл xorg.conf, который и читает сервер X при запуске.
По умолчанию в /etc/X11/xorg.conf ставится драйвер vesa (универсальный для всех карт, но очень медленно), раскладка клавиатура только en и ещё кое что, что нас категорически не устраивает.
Настройка сервера X.org методом Debian Way
user@host: ~# sudo dpkg-reconfigure xserver-xorg
Запустится мастер, который попытается определить конфигурацию оборудования, на чистом русском языке задаст некоторые вопросы, после чего сформирует новый файл xorg.conf (сохранив старый).
Один из основных способов настройки - запуск «родного» конфигуратора (см. man Xorg)
user@host: ~$ Xorg -configure
и последующим редактированием (возможно и не придётся) файла xorg.conf в текстовом редакторе.
Приводим типичный пример xorg.conf для одномониторной системы на NVidia GT6600 с использованием фирменного закрытого драйвера от NVidia:
# nvidia-xconfig: X configuration file generated by nvidia-xconfig
# nvidia-xconfig: version 1.0 (randy@juliet2) Fri Dec 30 21:53:37 PST 2005
# /etc/X11/xorg.conf (xorg X Window System server configuration file)
#
# This file was generated by dexconf, the Debian X Configuration tool, using
# values from the debconf database.
#
# Edit this file with caution, and see the /etc/X11/xorg.conf manual page.
# (Type "man /etc/X11/xorg.conf" at the shell prompt.)
#
# This file is automatically updated on xserver-xorg package upgrades *only*
# if it has not been modified since the last upgrade of the xserver-xorg
# package.
#
# If you have edited this file but would like it to be automatically updated
# again, run the following command:
# sudo dpkg-reconfigure -phigh xserver-xorg
Section "ServerLayout"
Identifier "Default Layout"
Screen "Default Screen" 0 0
InputDevice "Generic Keyboard"
InputDevice "Configured Mouse"
EndSection
# здесь прописываются каталоги со шрифтами
Section "Files"
# path to defoma fonts
FontPath "/usr/share/fonts/X11/misc"
FontPath "/usr/X11R6/lib/X11/fonts/misc"
FontPath "/usr/share/fonts/X11/cyrillic"
FontPath "/usr/X11R6/lib/X11/fonts/cyrillic"
FontPath "/usr/share/fonts/X11/100dpi/:unscaled"
FontPath "/usr/X11R6/lib/X11/fonts/100dpi/:unscaled"
# FontPath "/usr/share/fonts/X11/75dpi/:unscaled"
# FontPath "/usr/X11R6/lib/X11/fonts/75dpi/:unscaled"
FontPath "/usr/share/fonts/X11/Type1"
FontPath "/usr/X11R6/lib/X11/fonts/Type1"
FontPath "/usr/share/fonts/X11/100dpi"
FontPath "/usr/X11R6/lib/X11/fonts/100dpi"
# FontPath "/usr/share/fonts/X11/75dpi"
# FontPath "/usr/X11R6/lib/X11/fonts/75dpi"
FontPath "/var/lib/defoma/x-ttcidfont-conf.d/dirs/TrueType"
EndSection
# В секции "Module" определяем набор подгружаемых расширений
# например glx - для поддержки OpenGL,
# однако с фирменным драйвером nvidia (там свой GLX) он не "дружит"
Section "Module"
Load "bitmap"
Load "ddc"
Load "extmod"
Load "freetype"
Load "vbe"
Load "dbe"
# Это для NVIdia, вместо "GLcore"
Load "glx"
# модули "GLcore" и "dri" должны быть отключены
# при использовании фирменного драйвера nvidia
# Load "GLcore"
# Load "dri"
# Load "int10"
# Load "Type1"
# Load "v4l"
EndSection
Section "Extensions"
Option "Composite" "Disable"
EndSection
# Клавиатура: pc104, две раскладки, переключение CTRL+SHIFT,
# в русском регистре загорится светодиод Scroll Lock
Section "InputDevice"
Identifier "Generic Keyboard"
Driver "kbd"
Option "CoreKeyboard"
Option "XkbRules" "xorg"
Option "XkbModel" "pc104"
Option "XkbLayout" "us,ru(winkeys)"
Option "XkbOptions" "grp:ctrl_shift_toggle,grp_led:scroll"
EndSection
# PS/2 мышь с скроллером по середине, который ещё и 3-я кнопка
Section "InputDevice"
Identifier "Configured Mouse"
Driver "mouse"
Option "CorePointer"
Option "Device" "/dev/psaux"
# для USB недомышей
# Option "Device" "/dev/input/mice"
Option "Protocol" "ImPS/2"
# включаем скроллер
Option "ZAxisMapping" "4 5"
EndSection
# Монитор - частоты и пытаться использовать DPMS
Section "Monitor"
Identifier "SyncMaster"
HorizSync 30.0 - 81.0
VertRefresh 56.0 - 75.0
Option "DPMS"
EndSection
# Драйвер видеокарты - очень важный момент:
# nvidia - фирменный закрытый от NVidia
# nv - открытый для NVidia
# vesa - для всех карт, но очень медленно
Section "Device"
Identifier "GF6600"
Driver "nvidia"
EndSection
# Экран по-умолчанию: на какой видеокарте запускать(если несколько), разрешение, глубина цвета
Section "Screen"
Identifier "Default Screen"
Device "GF6600"
Monitor "SyncMaster"
DefaultDepth 24
SubSection "Display"
Depth 16
Modes "1280x1024" "1152x864" "1024x768" "800x600" "640x480"
EndSubSection
SubSection "Display"
Depth 24
Modes "1280x1024" "1152x864" "1024x768" "800x600" "640x480"
EndSubSection
EndSection
Для проверки в консоли выполняем команду:
user@host: ~$ startx
Если всё нормально, после небольших судорог монитора должен появиться мутновато-зеленовато-коричневый фон, на котором будет выдано предупреждение о невозможности запуска сессии X по причине отсутствия window менеджера или эмулятора терминала xterm.
Если оконный менеджер установлен, он должен отобразить окружение рабочего стола, в котором может быть запущен xterm (выход командой exit в xterm или просто сочетанием Ctrl+Alt+BackSpace.
Если не получилось, то изучаем логи /var/log/Xorg.log и /var/log/Xorg.0.log и терзаем Google.
Вы можете спросить: «а где значки, панель с меню и прочие рюшечки?». Отвечаем: это все обеспечивают среды рабочего стола (KDE, GNOME, Xfce) или оконные менеджеры (IceWM, Fluxbox и многие другие).
Читайте далее: Установка и настройка IceWM в минимальной конфигурации.