Интерфейс: TextGenerationStreamDetails

Свойства

лучшие из последовательностей

• Optional best_of_sequences: TextGenerationStreamBestOfSequence[]

Дополнительные последовательности при использовании параметра best_of

Определено в

inference/src/tasks/nlp/textGenerationStream.ts:68

---

finish _ reason

• finish_reason: TextGenerationStreamFinishReason

Причина завершения генерации

Определено в

inference/src/tasks/nlp/textGenerationStream.ts:58

---

сгенерировано _ токенов

• generated_tokens: number

Количество сгенерированных токенов

Определено в

inference/src/tasks/nlp/textGenerationStream.ts:60

---

prefill

• prefill: TextGenerationStreamPrefillToken[]

Токены промпта

Определено в

inference/src/tasks/nlp/textGenerationStream.ts:64

---

seed

• Optional seed: number

Посев выборки, если выборка была активирована

Определено в

inference/src/tasks/nlp/textGenerationStream.ts:62

---

токены

• токены: TextGenerationStreamToken[]

Определено в

inference/src/tasks/nlp/textGenerationStream.ts:66

Update on GitHub