Opencv con soporte gpu

Poseo una tarjeta grafica nvidia quadro rtx 6000 y ya configure opencv con soporte gpu. Cuando ejecuto opencv para la deteccion en tiempo real con yolov3 de los objetos se realiza la deteccion sin problemas con la tarjeta grafica; pero cuando ejecuto opencv con otras aplicaciones sin tarjeta grafica y quiero otra vez ejecutar con tarjeta grafica, en ese momento ya no trabaja la gpu sino la cpu. Como podria hacer para usar cv2 por separo; ya he creado dos entornos virtuales pero no funciona ya que al usar cv2 con cpu y luego al cambiar a gpu ya no trabaja la tarjeta grafica. Espero haberme hecho entender. gracias