tokenizer
Определение

Определение tokenizer - Английский словарь Reverso

Существительное

technology program that divides text into tokens
  • The tokenizer splits the sentence into individual words.

Этимология tokenizer

English, token (sign) + -izer (agent noun suffix)

Примеры tokenizer в предложении

  • A tokenizer is essential for text analysis.
  • The tokenizer helps in breaking down complex sentences.

Перевод tokenizer на другие языки

Нажмите на любой язык ниже, чтобы увидеть переводы рядом с каждым значением!
  1. Арабский:

    المجزئ
  2. Бенгальский:

    টোকেনাইজার
  3. Вьетнамский:

    bộ phân tích từ
  4. Голландский:

    tokenizer-programma
  5. Греческий:

    διαχωριστής λέξεων
  6. Датский:

    tokenizer
  7. Иврит:

    תוֹקֵנַיְזֶר
  8. Испанский:

    tokenizador
  9. Итальянский:

    tokenizzatore
  10. Каталанский:

    tokenitzador
  11. Китайский:

    分词器
  12. Корейский:

    토크나이저 프로그램
  13. Немецкий:

    Tokenizer
  14. Персидский:

    برنامه توکن‌سازی
  15. Польский:

    program tokenizujący
  16. Португальский:

    segmentador de texto
  17. Португальский (Бр.):

    segmentador de texto
  18. Румынский:

    program de tokenizare
  19. Русский:

    токенизатор
  20. Тайский:

    ตัวแบ่งคำ
  21. Турецкий:

    tokenizer
  22. Украинский:

    токенізатор
  23. Французский:

    tokenizer
  24. Хинди:

    टोकनाइज़र
  25. Шведский:

    tokenizer
  26. Японский:

    トークナイザー

Узнайте значение tokenizer и обогатите свой словарный запас

  • Четкие, понятные объяснения

    Исследуйте все значения ‘tokenizer’ в интуитивном, приятном для чтения интерфейсе.

  • Примеры использования для каждого определения

    Узнайте, как правильно использовать ‘tokenizer’ , благодаря наглядным примерам.

  • Тренируйте произношение

    Послушайте, как ‘tokenizer’ произносится в американском и британском английском, и посмотрите транскрипции.

  • Нажмите на любое слово, чтобы запустить поиск

    Незнакомое слово в определении? Просто нажмите на него, чтобы просмотреть его значение.

  • Сохраняйте избранное

    Нажмите на иконку в форме звездочки, чтобы сохранить ‘tokenizer’ в свой список.

  • Практикуйтесь с помощью Карточек

    Запоминайте ваши слова с помощью увлекательных карточек с аудио и примерами.

Reverso Define — Английские определения, которым можно доверять

500,000 значений

Найдется буквально что угодно: слово, выражение, аббревиатура, технический термин, современный сленг...

Нам доверяют 70 миллионов пользователей

включая учащихся, преподавателей языков и лингвистов

Отличная оценка 4.7

250,000+ отзывов в App Store и Play Store