Method List
Search:
-
#add_bos_token? LLaMACpp::Model
-
#add_eos_token? LLaMACpp::Model
-
#all_pos_one LLaMACpp::Batch
-
#all_pos_one= LLaMACpp::Batch
-
#all_pos_zero LLaMACpp::Batch
-
#all_pos_zero= LLaMACpp::Batch
-
#all_seq_id LLaMACpp::Batch
-
#all_seq_id= LLaMACpp::Batch
-
#allow_quantization LLaMACpp::ModelQuantizeParams
-
#allow_quantization= LLaMACpp::ModelQuantizeParams
-
#attention_type LLaMACpp::ContextParams
-
#attention_type= LLaMACpp::ContextParams
-
backend_free LLaMACpp
-
backend_init LLaMACpp
-
#check_tensors LLaMACpp::ModelParams
-
#check_tensors= LLaMACpp::ModelParams
-
#decode LLaMACpp::Context
-
#decoder_start_token LLaMACpp::Model
-
#defrag_thold LLaMACpp::ContextParams
-
#defrag_thold= LLaMACpp::ContextParams
-
#desc LLaMACpp::Model
-
#detokenize LLaMACpp::Model
-
#embeddings LLaMACpp::Context
-
#embeddings LLaMACpp::ContextParams
-
#embeddings= LLaMACpp::ContextParams
-
#embeddings_ith LLaMACpp::Context
-
#embeddings_seq LLaMACpp::Context
-
#empty? LLaMACpp::Model
-
#encode LLaMACpp::Context
-
#flash_attn LLaMACpp::ContextParams
-
#flash_attn= LLaMACpp::ContextParams
-
#free LLaMACpp::Model
-
#ftype LLaMACpp::ModelQuantizeParams
-
#ftype= LLaMACpp::ModelQuantizeParams
-
generate LLaMACpp
-
#get_logits LLaMACpp::Batch
-
#get_n_seq_id LLaMACpp::Batch
-
get_one LLaMACpp::Batch
-
#get_pos LLaMACpp::Batch
-
#get_seq_id LLaMACpp::Batch
-
#get_token LLaMACpp::Batch
-
#grammar_accept_token LLaMACpp::Context
-
#has_decoder? LLaMACpp::Model
-
#has_encoder? LLaMACpp::Model
-
#id LLaMACpp::TokenData
-
#id= LLaMACpp::TokenData
-
#initialize LLaMACpp::Batch
-
#initialize LLaMACpp::Grammar
-
#initialize LLaMACpp::Context
-
#initialize LLaMACpp::GrammarElement
-
#initialize LLaMACpp::TokenData
-
#initialize LLaMACpp::TokenDataArray
-
#initialize LLaMACpp::Model
-
#is_recurrent? LLaMACpp::Model
-
#keep_split LLaMACpp::ModelQuantizeParams
-
#keep_split= LLaMACpp::ModelQuantizeParams
-
#key LLaMACpp::ModelKVOverride
-
#kv_cache_clear LLaMACpp::Context
-
#kv_cache_defrag LLaMACpp::Context
-
#kv_cache_seq_add LLaMACpp::Context
-
#kv_cache_seq_cp LLaMACpp::Context
-
#kv_cache_seq_div LLaMACpp::Context
-
#kv_cache_seq_keep LLaMACpp::Context
-
#kv_cache_seq_pos_max LLaMACpp::Context
-
#kv_cache_seq_rm LLaMACpp::Context
-
#kv_cache_token_count LLaMACpp::Context
-
#kv_cache_update LLaMACpp::Context
-
#load LLaMACpp::Model
-
#load_session_file LLaMACpp::Context
-
#logit LLaMACpp::TokenData
-
#logit= LLaMACpp::TokenData
-
#logits LLaMACpp::Context
-
#logits_all LLaMACpp::ContextParams
-
#logits_all= LLaMACpp::ContextParams
-
#main_gpu LLaMACpp::ModelParams
-
#main_gpu= LLaMACpp::ModelParams
-
max_devices LLaMACpp
-
#model LLaMACpp::Context
-
model_quantize LLaMACpp
-
#n_batch LLaMACpp::ContextParams
-
#n_batch LLaMACpp::Context
-
#n_batch= LLaMACpp::ContextParams
-
#n_ctx LLaMACpp::ContextParams
-
#n_ctx LLaMACpp::Context
-
#n_ctx= LLaMACpp::ContextParams
-
#n_ctx_train LLaMACpp::Model
-
#n_embd LLaMACpp::Model
-
#n_eval LLaMACpp::Timings
-
#n_gpu_layers LLaMACpp::ModelParams
-
#n_gpu_layers= LLaMACpp::ModelParams
-
#n_layer LLaMACpp::Model
-
#n_p_eval LLaMACpp::Timings
-
#n_params LLaMACpp::Model
-
#n_sample LLaMACpp::Timings
-
#n_seq_max LLaMACpp::Context
-
#n_seq_max LLaMACpp::ContextParams
-
#n_seq_max= LLaMACpp::ContextParams
-
#n_thread LLaMACpp::ModelQuantizeParams
-
#n_thread= LLaMACpp::ModelQuantizeParams
-
#n_threads LLaMACpp::Context
-
#n_threads_batch LLaMACpp::Context
-
#n_tokens LLaMACpp::Batch
-
#n_tokens= LLaMACpp::Batch
-
#n_ubatch LLaMACpp::ContextParams
-
#n_ubatch LLaMACpp::Context
-
#n_ubatch= LLaMACpp::ContextParams
-
#n_vocab LLaMACpp::Model
-
numa_init LLaMACpp
-
#offload_kqv= LLaMACpp::ContextParams
-
#offload_kwv LLaMACpp::ContextParams
-
#only_copy LLaMACpp::ModelQuantizeParams
-
#only_copy= LLaMACpp::ModelQuantizeParams
-
#p LLaMACpp::TokenData
-
#p= LLaMACpp::TokenData
-
#params LLaMACpp::Model
-
#pooling_type LLaMACpp::ContextParams
-
#pooling_type LLaMACpp::Context
-
#pooling_type= LLaMACpp::ContextParams
-
print_system_info LLaMACpp
-
#print_timings LLaMACpp::Context
-
#prue= LLaMACpp::ModelQuantizeParams
-
#pure LLaMACpp::ModelQuantizeParams
-
#quantize_output_tensor LLaMACpp::ModelQuantizeParams
-
#quantize_output_tensor= LLaMACpp::ModelQuantizeParams
-
#reset_timings LLaMACpp::Context
-
#rope_freq_base LLaMACpp::ContextParams
-
#rope_freq_base= LLaMACpp::ContextParams
-
#rope_freq_scale LLaMACpp::ContextParams
-
#rope_freq_scale= LLaMACpp::ContextParams
-
#rope_freq_scale_train LLaMACpp::Model
-
#rope_scaling_type LLaMACpp::ContextParams
-
#rope_scaling_type= LLaMACpp::ContextParams
-
#rope_type LLaMACpp::Model
-
#sample_apply_guidance LLaMACpp::Context
-
#sample_entropy LLaMACpp::Context
-
#sample_grammar LLaMACpp::Context
-
#sample_min_p LLaMACpp::Context
-
#sample_repetition_penalties LLaMACpp::Context
-
#sample_softmax LLaMACpp::Context
-
#sample_tail_free LLaMACpp::Context
-
#sample_temp LLaMACpp::Context
-
#sample_token LLaMACpp::Context
-
#sample_token_greedy LLaMACpp::Context
-
#sample_token_mirostat LLaMACpp::Context
-
#sample_token_mirostat_v2 LLaMACpp::Context
-
#sample_top_k LLaMACpp::Context
-
#sample_top_p LLaMACpp::Context
-
#sample_typical LLaMACpp::Context
-
#save_session_file LLaMACpp::Context
-
#score LLaMACpp::Model
-
#seed LLaMACpp::ContextParams
-
#seed= LLaMACpp::ContextParams
-
#set_causal_attn LLaMACpp::Context
-
#set_embeddings LLaMACpp::Context
-
#set_logits LLaMACpp::Batch
-
#set_n_seq_id LLaMACpp::Batch
-
#set_n_threads LLaMACpp::Context
-
#set_pos LLaMACpp::Batch
-
#set_rng_seed LLaMACpp::Context
-
#set_seq_id LLaMACpp::Batch
-
#set_token LLaMACpp::Batch
-
#size LLaMACpp::Model
-
#size LLaMACpp::TokenDataArray
-
#sorted LLaMACpp::TokenDataArray
-
#split_mode LLaMACpp::ModelParams
-
#split_mode= LLaMACpp::ModelParams
-
supports_gpu_offload? LLaMACpp
-
supports_mlock? LLaMACpp
-
supports_mmap? LLaMACpp
-
#synchronize LLaMACpp::Context
-
#t_end_ms LLaMACpp::Timings
-
#t_eval_ms LLaMACpp::Timings
-
#t_load_ms LLaMACpp::Timings
-
#t_p_eval_ms LLaMACpp::Timings
-
#t_sample_ms LLaMACpp::Timings
-
#t_start_ms LLaMACpp::Timings
-
#tag LLaMACpp::ModelKVOverride
-
#tensor_split LLaMACpp::ModelParams
-
#text LLaMACpp::Model
-
time_us LLaMACpp
-
#timings LLaMACpp::Context
-
#token_attr LLaMACpp::Model
-
#token_bos LLaMACpp::Model
-
#token_cls LLaMACpp::Model
-
#token_eos LLaMACpp::Model
-
#token_eot LLaMACpp::Model
-
#token_is_control? LLaMACpp::Model
-
#token_is_eog? LLaMACpp::Model
-
#token_middle LLaMACpp::Model
-
#token_nl LLaMACpp::Model
-
#token_pad LLaMACpp::Model
-
#token_prefix LLaMACpp::Model
-
#token_sep LLaMACpp::Model
-
#token_suffix LLaMACpp::Model
-
#token_to_piece LLaMACpp::Model
-
#tokenize LLaMACpp::Model
-
#type LLaMACpp::GrammarElement
-
#type= LLaMACpp::GrammarElement
-
#type_k LLaMACpp::ContextParams
-
#type_k= LLaMACpp::ContextParams
-
#type_v LLaMACpp::ContextParams
-
#type_v= LLaMACpp::ContextParams
-
#use_mlock LLaMACpp::ModelParams
-
#use_mlock= LLaMACpp::ModelParams
-
#use_mmap LLaMACpp::ModelParams
-
#use_mmap= LLaMACpp::ModelParams
-
#val_bool LLaMACpp::ModelKVOverride
-
#val_f64 LLaMACpp::ModelKVOverride
-
#val_i64 LLaMACpp::ModelKVOverride
-
#val_str LLaMACpp::ModelKVOverride
-
#value LLaMACpp::GrammarElement
-
#value= LLaMACpp::GrammarElement
-
#vocab_only LLaMACpp::ModelParams
-
#vocab_only= LLaMACpp::ModelParams
-
#vocab_type LLaMACpp::Model
-
#yarn_attn_factor LLaMACpp::ContextParams
-
#yarn_attn_factor= LLaMACpp::ContextParams
-
#yarn_beta_fast LLaMACpp::ContextParams
-
#yarn_beta_fast= LLaMACpp::ContextParams
-
#yarn_beta_slow LLaMACpp::ContextParams
-
#yarn_beta_slow= LLaMACpp::ContextParams
-
#yarn_ext_factor LLaMACpp::ContextParams
-
#yarn_ext_factor= LLaMACpp::ContextParams
-
#yarn_orig_ctx LLaMACpp::ContextParams
-
#yarn_orig_ctx= LLaMACpp::ContextParams