创建个人huggingface远程仓库

模型上传

1.transformers-cli 接口方式

transformers-cli upload ./test/

• transformers-cli调用了python-transformers库中上传接口方法
  • 分析失败原因（猜测）：
    • 接口bug（transformers2.3.0中的上传接口可能变更）
    • 网络问题：huggingface.co/api 服务器接口除加拿大本地区，访问丢包延迟超高。
    • …

2.使用官方推荐：git方式

• 1.创建远程仓库。v2.3.0没有repo命令，要么升级版本，要么手动去huggingface.co创建一个仓库。

  transformers-cli repo create test

• 2.远程仓库克隆到本地。

  git clone https://huggingface.co/zbmain/test

• 3.将自己的文件拷贝到 test 目录。

  拷贝文件到项目中

• 4.进入项目中，创建一个md文档，创不创建随意。

  cd test
  echo "test" >> README.md

• 5.添加所有更改文件到缓存区，并提交到本地git版本库。

  git add . && git commit -m "update test"

• 6.将本地版本库push到远程仓库。

  git push

加载个人模型

• 推荐使用torch.hub.load() 方法：

  # source，part，model参数
  tokenizer = torch.hub.load()
  model = torch.hub.load()

• 使用huggingface.co 推荐transformers-api： (需升级transformers)

  # api会读取config.json适配，参数少
  from transformers import AutoTokenizer, AutoModelForMaskedLM
  tokenizer = AutoTokenizer.from_pretrained("zbmain/test")
  model = AutoModelForMaskedLM.from_pretrained("zbmain/test")

发现问题

• 服务器上git push到transformers.cc，上载150KB/S,存在问题，VPN到美国/加拿大节点，可以达到1M/S。