Вот как получилось:

1) В пресет-файле прописываем правило:

admin	*	http://admin.site.com

2) В .htaccess прописываем правила:

RewriteCond %{HTTP_HOST} ^admin\.site\.com$ [NC]
RewriteRule (.*) admin.php [QSA,NC,NE,L]
RewriteCond %{HTTP_HOST} ^admin\.site\.com$ [NC]
RewriteRule ^([^/&?#]+)$ admin.php?m=$1 [QSA,NC,NE,L]

3) Мультихост у меня отключем. Но также нужно настроить на домене псевдоним admin.site.com

Надо еще попробовать привести внутренние ссылки в админке в нормальный вид без ? и &.

Добавлено 7 часа спустя:

Рано радовался. На локальном веб-сервере все пашет, а на хостинге нет. Видимо сервер надо еще как-то настраивать.

Добавлено 3 часа спустя:

Про режим мультихоста, почему-то он у меня не работает. Поэтому решил проблему путем добавления строки 

session_set_cookie_params(0, '/', '.site.com');

После этого все встало на свои места.

Добавлено 3 минуты спустя:

Если включить мультихост, то домен админки будет применяться по всему сайту. Поэтому этого делать не надо.

Добавлено 2 минуты спустя:

RewriteCond %{HTTP_HOST} ^admin\.site\.com$ [NC]
RewriteRule ^$ admin.php [QSA,NC,NE]

Когда устанавливаю такие правила, то главная админки работает, но остальные страницы в админке нет. 

• субдомен должен быть настроен у хостера и ссылаться на туже папку, что и основной
• должен быть настроен .htaccess  (что-то типа этого, но не проверял)

RewriteCond %{HTTP_HOST} ^admin.site.com$ [NC]
RewriteRule ^(.*)$ admin/$1 [QSA,NC,NE]

• включить мультидомены ($cfg['multihost'] = TRUE;), и проверить, что при вызове админки, в переменную $cfg['main_url'] попадает 'http://admin.site.com' и соотв. внутренние переменные типа `$sys['domain']`, `$sys['host']` тоже указывают на поддомен.  (я не помню работал ли полностью корректно мультидомен)