tokenizers 产品

来源: githubOPEN_SOURCE开源RustApache-2.0发布于 2019-11-01

💥 Fast State-of-the-Art Tokenizers optimized for Research and Production

10718

Stars

1091

Forks

4

技术栈

0

替代方案

15

相关事件

自然语言处理大模型 / LLM
GitHub官网
关系图谱

1

开发者/公司

4

相关技术

0

替代方案

15

相关事件

1

相关文章

开发者/公司查看全部 (1)

H
huggingfaceCOMPANY

相关技术查看全部 (4)

transformers(2011)
GPTarchitecture
BERTarchitecture
Rustlanguage

替代方案

暂无数据

相关事件查看全部 (15)

相关文章查看全部 (1)

How to train a new language model from scratch using Transformers and Tokenizers
Hugging Face Blog2020-02-14