1. Нам нужен ярлык игры, но тот, который открывает лаунчер, не годится. Поэтому создаем новый ярлык: клик правой кнопкой по экрану — создать — ярлык.
2. В появившемся окне жмем «Обзор…» и выбираем путь к файлу запуска самой игры.

У меня путь к файлу: «G:\Games\Genshin Impact\Genshin Impact Game\GenshinImpact.exe»
У вас зеленая часть пути скорее всего отличается в зависимости от того, куда указывали устанавливать игру.
Если вы не помните куда ее устанавливали, то в лаунчере нажмите шестеренку сверху справа:

В разделе «Общие настройки» будет указан ваш путь:

3. Дайте удобное для вас название ярлыка и клац ко кнопке «Готово».

4. Правой кнопкой жмяк по созданному ярлыку и выбираем «Свойства»:

5. В разделе «Ярлык», строке «Объект:» нужно дописать -popupwindow
Пробел не забудьте между » и —
6. Жмём «ОК» и запускаем игру через этот ярлык.
7. Если игра не сразу запустилась в оконном режиме, то нажмите Alt+Enter.
Важное дополнение: Это запуск игры в обход лаунчера, а значит обновления, устанавливаемые через лаунчер, не будут загружаться, поэтому ярлык на лаунчер не удалять, чтоб при необходимости обновить игру, можно было его запустить по старинке.