LLamaTokenDataArray
Namespace: LLama.Native
Contains an array of LLamaTokenData, potentially sorted.
public struct LLamaTokenDataArray
Inheritance Object → ValueType → LLamaTokenDataArray
Fields
data
The LLamaTokenData
public Memory<LLamaTokenData> data;
sorted
Indicates if data is sorted by logits in descending order. If this is false the token data is in no particular order.
public bool sorted;
Constructors
LLamaTokenDataArray(Memory<LLamaTokenData>, Boolean)
Create a new LLamaTokenDataArray
LLamaTokenDataArray(Memory<LLamaTokenData> tokens, bool isSorted)
Parameters
tokens Memory<LLamaTokenData>
isSorted Boolean
Methods
Create(ReadOnlySpan<Single>)
Create a new LLamaTokenDataArray, copying the data from the given logits
LLamaTokenDataArray Create(ReadOnlySpan<float> logits)
Parameters
logits ReadOnlySpan<Single>