Giao diện: TextGenerationStreamDetails

Thuộc tính

best _ of _ sequences

• Optional best_of_sequences: TextGenerationStreamBestOfSequence[]

Các chuỗi bổ sung khi sử dụng tham số best_of

Được định nghĩa trong

inference/src/tasks/nlp/textGenerationStream.ts:68

---

hoàn thành _ lý do

• finish_reason: TextGenerationStreamFinishReason

Lý do kết thúc sinh

Được định nghĩa trong

inference/src/tasks/nlp/textGenerationStream.ts:58

---

số token đã tạo

• generated_tokens: number

Số lượng token được tạo

Được định nghĩa trong

inference/src/tasks/nlp/textGenerationStream.ts:60

---

prefill

• prefill: TextGenerationStreamPrefillToken[]

Token nhắc

Được định nghĩa trong

inference/src/tasks/nlp/textGenerationStream.ts:64

---

seed

• seed Optional: number

Hạt ngẫu nhiên khi lấy mẫu nếu việc lấy mẫu đã được kích hoạt

Được định nghĩa trong

inference/src/tasks/nlp/textGenerationStream.ts:62

---

tokens

• tokens: TextGenerationStreamToken[]

Được định nghĩa trong

inference/src/tasks/nlp/textGenerationStream.ts:66

Update on GitHub