Como estas midiendo el consumo de memoria? Notas algún problema de rendimiento y pensas que puede ser causado por eso?

Normalmente los programas toman solo la cantidad de memoria que necesitan y el resto queda a disposición del sistema para usar en otras cosas.