Wayland всё ещё включён, VBoxClient не запущен. Скорее всего, отключение Wayland не применилось, а шестерёнки нет, потому что в системе не установлена сессия Xorg. Выполните в терминале по порядку и пришлите вывод.
1. Проверьте, применился ли конфиг
grep -n Wayland /etc/gdm3/custom.conf
ls /usr/share/xsessions/
2. Установите Xorg (это почти наверняка нужно)
sudo apt update
sudo apt install xserver-xorg xorg
3. Отключите Wayland вручную
sudo nano /etc/gdm3/custom.conf
В файле должна быть строка WaylandEnable=false без # в начале, и находиться она должна под строкой [daemon]. Если строки нет, допишите её вторым предложением после [daemon]. Сохраните: Ctrl+O, Enter, выйдите: Ctrl+X.
4. Перезагрузитесь и проверьте
sudo reboot
После входа:
echo $XDG_SESSION_TYPE
pgrep -a VBoxClient
Должно быть x11 и список процессов VBoxClient.
Если после перезагрузки на экране входа теперь появилась шестерёнка (после того как вы нажали на имя пользователя), выберите в ней «Ubuntu on Xorg» вместо правки конфига.
Если x11 не получится, пришлите скриншот вывода первой команды из шага 1.