안녕하세요. 학습을 재현해보려는데, 한국어 tokenizer에 대한 부분 설명이 없어서 여쭙니다. 기존의 llm 모델의 tokenizer를 그대로 사용하면 되는걸까요?
안녕하세요.
학습을 재현해보려는데, 한국어 tokenizer에 대한 부분 설명이 없어서 여쭙니다.
기존의 llm 모델의 tokenizer를 그대로 사용하면 되는걸까요?