Eso lo puedes conficurar para cada juego en particular, o para todos los juegos.
solo tienes que darle a Options (si quieres que solo afecte a un juego hazlo desde el "edit game" de ese juego, si quieres que afecte a todos hazlo desde el menú principal). Y
ACTIVA "FULLSCREEN MODE". Ya lo tienes a pantalla completa.

También lo puedes hacer mas fácilmente
pulsando alt+enter en cualquier momento (aunque estés en medio del juego)
Lo de "Aspect ratio correction" es para hacer que los juegos de resolución 320x200 y 640x400, que se ven con un par de franjas negras arriba y abajo, se "estire" y ocupe toda la pantalla.
Resumen: Opciones>Fullscreenmode o presionar alt+enter en cualquier momento
Espero que te sirva
