对于 head 的理解,预训练的模型可能自己本身是带有 head 的,如果使用 autoModel 的话,那么就会自动加上这个 Head。但如果想要利用这个预训练模型,然后调整下游任务,那么就要换上特定的 token,这是就得使用 AutoModelFor...,这样模型就会自动替换原先的 head,然后就可以从头开始训练了。
但是因为还是使用原来的模型,所以 AutoTokenizer 还是可以继续用的。
对于 head 的理解,预训练的模型可能自己本身是带有 head 的,如果使用 autoModel 的话,那么就会自动加上这个 Head。但如果想要利用这个预训练模型,然后调整下游任务,那么就要换上特定的 token,这是就得使用 AutoModelFor...,这样模型就会自动替换原先的 head,然后就可以从头开始训练了。
但是因为还是使用原来的模型,所以 AutoTokenizer 还是可以继续用的。