模型预加载

[BronyaKaslana06]

在我连续处理多个pdf时，我希望能只用加载一次模型，也就是说需要向用户提供一个api接口，方便用户在合适的时机将模型加载到显存中。

[Jalen-Zhong]

把模型提出来先加载，再传入函数

[myhloli]

可以通过以下代码预加载模型

def init_model():
    from magic_pdf.model.doc_analyze_by_custom_model import ModelSingleton
    try:
        model_manager = ModelSingleton()
        txt_model = model_manager.get_model(False, False)
        logger.info(f"txt_model init final")
        ocr_model = model_manager.get_model(True, False)
        logger.info(f"ocr_model init final")
        return 0
    except Exception as e:
        logger.exception(e)
        return -1


model_init = init_model()
logger.info(f"model_init: {model_init}")

[BronyaKaslana06]

收到，谢谢大佬们

[sunnyhwang]

可以通过以下代码预加载模型

def init_model():
    from magic_pdf.model.doc_analyze_by_custom_model import ModelSingleton
    try:
        model_manager = ModelSingleton()
        txt_model = model_manager.get_model(False, False)
        logger.info(f"txt_model init final")
        ocr_model = model_manager.get_model(True, False)
        logger.info(f"ocr_model init final")
        return 0
    except Exception as e:
        logger.exception(e)
        return -1


model_init = init_model()
logger.info(f"model_init: {model_init}")

感谢提供的代码，方便了很多。但是在使用过程中我发现如果程序出错或者提前结束的情况下，预载的模型还是会留在显存中不会自己结束进程，需要自己手动杀掉才能释放内存。请问这种情况有解决方式吗？