Como todas las adicciones te dominan, por lo que entiendo que si es un problema. Otra cosa es que te guste mucho, pero lo controlas.
Se considera adicción a una enfermedad crónica y recurrente del cerebro que se caracteriza por una búsqueda patológica de la recompensa y/o alivio a través del uso de una sustancia u otras conductas como en tu caso el sexo. Entonces para mí si es un problema.