prokbert.prokbert\_tokenizer.ProkBERTTokenizer
==============================================

.. currentmodule:: prokbert.prokbert_tokenizer

.. autoclass:: ProkBERTTokenizer

   
   .. automethod:: __init__

   
   .. rubric:: Methods

   .. autosummary::
   
      ~ProkBERTTokenizer.__init__
      ~ProkBERTTokenizer.add_special_tokens
      ~ProkBERTTokenizer.add_tokens
      ~ProkBERTTokenizer.apply_chat_template
      ~ProkBERTTokenizer.batch_decode
      ~ProkBERTTokenizer.batch_encode_plus
      ~ProkBERTTokenizer.build_inputs_with_special_tokens
      ~ProkBERTTokenizer.clean_up_tokenization
      ~ProkBERTTokenizer.convert_added_tokens
      ~ProkBERTTokenizer.convert_ids_to_tokens
      ~ProkBERTTokenizer.convert_to_native_format
      ~ProkBERTTokenizer.convert_tokens_to_ids
      ~ProkBERTTokenizer.convert_tokens_to_string
      ~ProkBERTTokenizer.create_token_type_ids_from_sequences
      ~ProkBERTTokenizer.decode
      ~ProkBERTTokenizer.encode
      ~ProkBERTTokenizer.encode_message_with_chat_template
      ~ProkBERTTokenizer.encode_plus
      ~ProkBERTTokenizer.from_pretrained
      ~ProkBERTTokenizer.get_added_vocab
      ~ProkBERTTokenizer.get_chat_template
      ~ProkBERTTokenizer.get_positions_tokens
      ~ProkBERTTokenizer.get_special_tokens_mask
      ~ProkBERTTokenizer.get_vocab
      ~ProkBERTTokenizer.num_special_tokens_to_add
      ~ProkBERTTokenizer.pad
      ~ProkBERTTokenizer.parse_response
      ~ProkBERTTokenizer.prepare_for_model
      ~ProkBERTTokenizer.prepare_for_tokenization
      ~ProkBERTTokenizer.push_to_hub
      ~ProkBERTTokenizer.register_for_auto_class
      ~ProkBERTTokenizer.save_chat_templates
      ~ProkBERTTokenizer.save_pretrained
      ~ProkBERTTokenizer.save_vocabulary
      ~ProkBERTTokenizer.tokenize
      ~ProkBERTTokenizer.truncate_sequences
   
   

   
   
   .. rubric:: Attributes

   .. autosummary::
   
      ~ProkBERTTokenizer.SPECIAL_TOKENS_ATTRIBUTES
      ~ProkBERTTokenizer.added_tokens_decoder
      ~ProkBERTTokenizer.added_tokens_encoder
      ~ProkBERTTokenizer.all_special_ids
      ~ProkBERTTokenizer.all_special_tokens
      ~ProkBERTTokenizer.default_cls_token
      ~ProkBERTTokenizer.default_mask_token
      ~ProkBERTTokenizer.default_pad_token
      ~ProkBERTTokenizer.default_sep_token
      ~ProkBERTTokenizer.default_unk_token
      ~ProkBERTTokenizer.extended_nucleotide_abc
      ~ProkBERTTokenizer.is_fast
      ~ProkBERTTokenizer.max_len_sentences_pair
      ~ProkBERTTokenizer.max_len_single_sentence
      ~ProkBERTTokenizer.max_model_input_sizes
      ~ProkBERTTokenizer.model_input_names
      ~ProkBERTTokenizer.nucleotide_abc
      ~ProkBERTTokenizer.pad_token_type_id
      ~ProkBERTTokenizer.padding_side
      ~ProkBERTTokenizer.pretrained_init_configuration
      ~ProkBERTTokenizer.pretrained_vocab_files_map
      ~ProkBERTTokenizer.sequence_unk_token
      ~ProkBERTTokenizer.slow_tokenizer_class
      ~ProkBERTTokenizer.special_tokens_map
      ~ProkBERTTokenizer.truncation_side
      ~ProkBERTTokenizer.vocab_files_names
      ~ProkBERTTokenizer.vocab_size