# InstructBLIP ## Tổng quan Mô hình InstructBLIP được đề xuất trong [InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning](https://huggingface.co/papers/2305.06500) bởi Wenliang Dai, Junnan Li, Dongxu Li, Anthony Meng Huat Tiong, Junqi Zhao, Weisheng Wang, Boyang Li, Pascale Fung, Steven Hoi. InstructBLIP sử dụng kiến trúc [BLIP-2](blip-2) cho việc điều chỉnh chỉ thị thị giác. Tóm tắt từ bài báo như sau: *Các mô hình ngôn ngữ đa dụng có khả năng giải quyết nhiều tác vụ khác nhau trong lĩnh vực ngôn ngữ đã ra đời nhờ quy trình tiền huấn luyện và điều chỉnh theo hướng dẫn. Tuy nhiên, việc xây dựng các mô hình thị giác-ngôn ngữ đa dụng là một thách thức do sự khác biệt giữa các tác vụ tăng lên do đầu vào thị giác bổ sung. Mặc dù tiền huấn luyện thị giác-ngôn ngữ đã được nghiên cứu rộng rãi, việc điều chỉnh theo hướng dẫn thị giác-ngôn ngữ vẫn còn tương đối ít được khám phá. Trong bài báo này, chúng tôi tiến hành một nghiên cứu có hệ thống và toàn diện về việc điều chỉnh theo hướng dẫn thị giác-ngôn ngữ dựa trên các mô hình BLIP-2 đã được tiền huấn luyện. Chúng tôi thu thập một loạt 26 bộ dữ liệu công khai, chuyển đổi chúng sang định dạng điều chỉnh theo hướng dẫn và phân loại chúng thành hai cụm cho việc điều chỉnh theo hướng dẫn giữ trong (held-in) và đánh giá zero-shot giữ ngoài (held-out). Ngoài ra, chúng tôi giới thiệu việc trích xuất đặc trưng thị giác nhận thức hướng dẫn (instruction-aware visual feature extraction), một phương pháp quan trọng cho phép mô hình trích xuất các đặc trưng thông tin được điều chỉnh phù hợp với hướng dẫn được đưa ra. Các mô hình InstructBLIP kết quả đạt hiệu suất zero-shot tiên tiến (state-of-the-art) trên tất cả 13 bộ dữ liệu giữ ngoài, vượt trội đáng kể so với BLIP-2 và Flamingo lớn hơn. Các mô hình của chúng tôi cũng dẫn đến hiệu suất tiên tiến khi được tinh chỉnh (finetune) trên các tác vụ hạ nguồn riêng lẻ (ví dụ: độ chính xác 90,7% trên ScienceQA IMG). Hơn nữa, chúng tôi minh họa định tính các ưu điểm của InstructBLIP so với các mô hình đa phương thức đồng thời.* drawing Kiến trúc InstructBLIP. Được trích từ bài báo gốc. Mô hình này được đóng góp bởi [nielsr](https://huggingface.co/nielsr). Mã gốc có thể được tìm thấy [tại đây](https://github.com/salesforce/LAVIS/tree/main/projects/instructblip). ## Mẹo sử dụng InstructBLIP sử dụng cùng kiến trúc với [BLIP-2](blip-2) với một khác biệt nhỏ nhưng quan trọng: nó cũng đưa prompt văn bản (lệnh) vào Q-Former. > [!NOTE] > Các mô hình BLIP sau bản phát hành v4.46 sẽ phát ra cảnh báo về việc thêm `processor.num_query_tokens = {{num_query_tokens}}` và mở rộng lớp embeddings của mô hình để thêm token đặc biệt ``. Rất khuyến nghị thêm các thuộc tính này vào processor nếu bạn sở hữu checkpoint của mô hình, hoặc mở một PR nếu checkpoint không thuộc về bạn. Việc thêm các thuộc tính này có nghĩa là BLIP sẽ thêm số lượng query tokens cần thiết cho mỗi ảnh và mở rộng văn bản với số lượng placeholder `` tương ứng với số query tokens. Thông thường, con số này vào khoảng 500 tokens mỗi ảnh, vì vậy hãy đảm bảo rằng văn bản không bị cắt cụt, nếu không sẽ xảy ra lỗi khi gộp các embeddings. Các thuộc tính có thể được lấy từ cấu hình mô hình, dưới dạng `model.config.num_query_tokens` và việc mở rộng nhúng mô hình có thể được thực hiện bằng cách làm theo [liên kết này](https://gist.github.com/zucchini-nlp/e9f20b054fa322f84ac9311d9ab67042). ## InstructBlipConfig[[transformers.InstructBlipConfig]] #### transformers.InstructBlipConfig[[transformers.InstructBlipConfig]] ```python transformers.InstructBlipConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vision_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, qformer_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, text_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, num_query_tokens: int = 32, image_token_index: int | None = None, initializer_factor: float = 1.0, initializer_range: float = 0.02) ``` [Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/instructblip/configuration_instructblip.py#L106) **Tham số:** vision_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`, *tùy chọn*) : Đối tượng config hoặc từ điển của vision backbone. qformer_config (`dict`, *tùy chọn*) : Từ điển các tùy chọn cấu hình được sử dụng để khởi tạo [InstructBlipQFormerConfig](/docs/transformers/main/vi/model_doc/instructblip#transformers.InstructBlipQFormerConfig). text_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`, *tùy chọn*) : Đối tượng config hoặc từ điển của text backbone. num_query_tokens (`int`, *tuỳ chọn*, mặc định là 32) : Số lượng token truy vấn được truyền qua Transformer. image_token_index (`int`, *tuỳ chọn*) : Chỉ số token hình ảnh được dùng làm ký tự thay thế cho các hình ảnh đầu vào. initializer_factor (`float`, *tuỳ chọn*, mặc định là `1.0`) : Hệ số để khởi tạo tất cả các ma trận trọng số (nên giữ ở mức 1, được sử dụng bên trong cho việc kiểm tra khởi tạo). initializer_range (`float`, *optional*, mặc định là `0.02`) : Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số. Đây là lớp cấu hình để lưu trữ cấu hình của một InstructBlipModel. Nó được sử dụng để khởi tạo một mô hình Instructblip theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của [Salesforce/instructblip-flan-t5-xl](https://huggingface.co/Salesforce/instructblip-flan-t5-xl) Các đối tượng cấu hình kế thừa từ [PreTrainedConfig](/docs/transformers/main/vi/main_classes/configuration#transformers.PreTrainedConfig) và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ [PreTrainedConfig](/docs/transformers/main/vi/main_classes/configuration#transformers.PreTrainedConfig) để biết thêm thông tin. Ví dụ: ```python >>> from transformers import ( ... InstructBlipVisionConfig, ... InstructBlipQFormerConfig, ... OPTConfig, ... InstructBlipConfig, ... InstructBlipForConditionalGeneration, ... ) >>> # Initializing a InstructBlipConfig with Salesforce/instructblip-flan-t5-xl style configuration >>> configuration = InstructBlipConfig() >>> # Initializing a InstructBlipForConditionalGeneration (with random weights) from the Salesforce/instructblip-flan-t5-xl style configuration >>> model = InstructBlipForConditionalGeneration(configuration) >>> # Accessing the model configuration >>> configuration = model.config >>> # We can also initialize a InstructBlipConfig from a InstructBlipVisionConfig, InstructBlipQFormerConfig and any PreTrainedConfig >>> # Initializing InstructBLIP vision, InstructBLIP Q-Former and language model configurations >>> vision_config = InstructBlipVisionConfig() >>> qformer_config = InstructBlipQFormerConfig() >>> text_config = OPTConfig() >>> config = InstructBlipConfig(vision_config=vision_config, qformer_config=qformer_config, text_config=text_config) ``` ## InstructBlipVisionConfig[[transformers.InstructBlipVisionConfig]] #### transformers.InstructBlipVisionConfig[[transformers.InstructBlipVisionConfig]] ```python transformers.InstructBlipVisionConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, hidden_size: int = 1408, intermediate_size: int = 6144, num_hidden_layers: int = 39, num_attention_heads: int = 16, image_size: int | list[int] | tuple[int, int] = 224, patch_size: int | list[int] | tuple[int, int] = 14, hidden_act: str = 'gelu', layer_norm_eps: float = 1e-06, attention_dropout: float | int = 0.0, initializer_range: float = 1e-10, qkv_bias: bool = True) ``` [Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/instructblip/configuration_instructblip.py#L29) **Tham số:** hidden_size (`int`, *tuỳ chọn*, mặc định là `1408`) : Kích thước của các biểu diễn ẩn. intermediate_size (`int`, *tuỳ chọn*, mặc định là `6144`) : Kích thước của các biểu diễn MLP. num_hidden_layers (`int`, *tuỳ chọn*, mặc định là `39`) : Số lượng lớp ẩn trong bộ giải mã Transformer. num_attention_heads (`int`, *tuỳ chọn*, mặc định là `16`) : Số lượng đầu chú ý cho mỗi lớp chú ý trong bộ giải mã Transformer. image_size (`Union[int, list[int], tuple[int, int]]`, *tùy chọn*, mặc định là `224`) : Kích thước (độ phân giải) của mỗi hình ảnh. patch_size (`Union[int, list[int], tuple[int, int]]`, *tùy chọn*, mặc định là `14`) : Kích thước (độ phân giải) của mỗi patch. hidden_act (`str`, *tùy chọn*, mặc định là `gelu`) : Hàm kích hoạt phi tuyến (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ, `"gelu"`, `"relu"`, `"silu"`, v.v. layer_norm_eps (`float`, *tuỳ chọn*, mặc định là `1e-06`) : Epsilon được sử dụng bởi các lớp chuẩn hóa lớp (layer normalization). attention_dropout (`Union[float, int]`, *tùy chọn*, mặc định là `0.0`) : Tỷ lệ dropout cho các xác suất chú ý. initializer_range (`float`, *optional*, mặc định là `1e-10`) : Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số. qkv_bias (`bool`, *tùy chọn*, mặc định là `True`) : Có thêm bias vào queries, keys và values hay không. Đây là lớp cấu hình để lưu trữ cấu hình của một InstructBlipModel. Nó được sử dụng để khởi tạo một mô hình Instructblip theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của [Salesforce/instructblip-flan-t5-xl](https://huggingface.co/Salesforce/instructblip-flan-t5-xl) Các đối tượng cấu hình kế thừa từ [PreTrainedConfig](/docs/transformers/main/vi/main_classes/configuration#transformers.PreTrainedConfig) và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ [PreTrainedConfig](/docs/transformers/main/vi/main_classes/configuration#transformers.PreTrainedConfig) để biết thêm thông tin. Ví dụ: ```python >>> from transformers import InstructBlipVisionConfig, InstructBlipVisionModel >>> # Initializing a InstructBlipVisionConfig with Salesforce/instructblip-flan-t5-xl style configuration >>> configuration = InstructBlipVisionConfig() >>> # Initializing a InstructBlipVisionModel (with random weights) from the Salesforce/instructblip-flan-t5-xl style configuration >>> model = InstructBlipVisionModel(configuration) >>> # Accessing the model configuration >>> configuration = model.config ``` ## InstructBlipQFormerConfig[[transformers.InstructBlipQFormerConfig]] #### transformers.InstructBlipQFormerConfig[[transformers.InstructBlipQFormerConfig]] ```python transformers.InstructBlipQFormerConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int = 30522, hidden_size: int = 768, num_hidden_layers: int = 12, num_attention_heads: int = 12, intermediate_size: int = 3072, hidden_act: str = 'gelu', hidden_dropout_prob: float | int = 0.1, attention_probs_dropout_prob: float | int = 0.1, max_position_embeddings: int = 512, initializer_range: float = 0.02, layer_norm_eps: float = 1e-12, pad_token_id: int | None = 0, cross_attention_frequency: int = 2, encoder_hidden_size: int = 1408) ``` [Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/instructblip/configuration_instructblip.py#L64) **Tham số:** vocab_size (`int`, *tùy chọn*, mặc định là `30522`) : Kích thước từ vựng của mô hình. Xác định số lượng token khác nhau có thể được biểu diễn bởi `input_ids`. hidden_size (`int`, *optional*, mặc định là `768`) : Kích thước của các biểu diễn ẩn. num_hidden_layers (`int`, *tuỳ chọn*, mặc định là `12`) : Số lượng lớp ẩn trong bộ giải mã Transformer. num_attention_heads (`int`, *tùy chọn*, mặc định là `12`) : Số lượng đầu chú ý cho mỗi lớp chú ý trong bộ giải mã Transformer. intermediate_size (`int`, *tuỳ chọn*, mặc định là `3072`) : Kích thước của các biểu diễn MLP. hidden_act (`str`, *tùy chọn*, mặc định là `gelu`) : Hàm kích hoạt phi tuyến (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ, `"gelu"`, `"relu"`, `"silu"`, v.v. hidden_dropout_prob (`Union[float, int]`, *tùy chọn*, mặc định là `0.1`) : Xác suất dropout cho tất cả các lớp fully connected trong embeddings, encoder và pooler. attention_probs_dropout_prob (`Union[float, int]`, *tùy chọn*, mặc định là `0.1`) : Tỷ lệ dropout cho các xác suất chú ý. max_position_embeddings (`int`, *tuỳ chọn*, mặc định là `512`) : Độ dài chuỗi tối đa mà mô hình này có thể được sử dụng. initializer_range (`float`, *optional*, mặc định là `0.02`) : Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số. layer_norm_eps (`float`, *tuỳ chọn*, mặc định là `1e-12`) : Epsilon được sử dụng bởi các lớp chuẩn hóa lớp (layer normalization). pad_token_id (`int`, *tùy chọn*, mặc định là `0`) : Id của token được sử dụng để đệm (padding) trong từ vựng. cross_attention_frequency (`int`, *tuỳ chọn*, mặc định là 2) : Tần suất thêm cross-attention vào các lớp Transformer. encoder_hidden_size (`int`, *tuỳ chọn*, mặc định là 1408) : Kích thước ẩn của các trạng thái ẩn cho cross-attention. Đây là lớp cấu hình để lưu trữ cấu hình của một InstructBlipModel. Nó được sử dụng để khởi tạo một mô hình Instructblip theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của [Salesforce/instructblip-flan-t5-xl](https://huggingface.co/Salesforce/instructblip-flan-t5-xl) Các đối tượng cấu hình kế thừa từ [PreTrainedConfig](/docs/transformers/main/vi/main_classes/configuration#transformers.PreTrainedConfig) và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ [PreTrainedConfig](/docs/transformers/main/vi/main_classes/configuration#transformers.PreTrainedConfig) để biết thêm thông tin. Ví dụ: ```python >>> from transformers import InstructBlipQFormerConfig, InstructBlipQFormerModel >>> # Initializing a InstructBLIP Salesforce/instructblip-flan-t5-xl style configuration >>> configuration = InstructBlipQFormerConfig() >>> # Initializing a model (with random weights) from the Salesforce/instructblip-flan-t5-xl style configuration >>> model = InstructBlipQFormerModel(configuration) >>> # Accessing the model configuration >>> configuration = model.config ``` ## InstructBlipProcessor[[transformers.InstructBlipProcessor]] #### transformers.InstructBlipProcessor[[transformers.InstructBlipProcessor]] ```python transformers.InstructBlipProcessor(image_processor, tokenizer, qformer_tokenizer, num_query_tokens = None, **kwargs) ``` [Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/instructblip/processing_instructblip.py#L45) **Tham số:** image_processor (`BlipImageProcessor`) : Bộ xử lý ảnh là một đầu vào bắt buộc. tokenizer (`GPT2Tokenizer`) : Tokenizer là một đầu vào bắt buộc. qformer_tokenizer (`AutoTokenizer`) : Một instance của ['PreTrainedTokenizer`']. Tokenizer của Q-Former là một đầu vào bắt buộc. num_query_tokens (`int`, *optional*) : " Số lượng token được Qformer sử dụng làm truy vấn, phải giống với cấu hình của mô hình. Tạo một InstructBlipProcessor bao gồm một bộ xử lý ảnh, một tokenizer và một tokenizer qformer trong một bộ xử lý duy nhất. [InstructBlipProcessor](/docs/transformers/main/vi/model_doc/instructblip#transformers.InstructBlipProcessor) cung cấp đầy đủ các chức năng của [BlipImageProcessor](/docs/transformers/main/vi/model_doc/blip#transformers.BlipImageProcessor), [GPT2Tokenizer](/docs/transformers/main/vi/model_doc/gpt2#transformers.GPT2Tokenizer) và `{qformer_tokenizer_class}`. Xem [~BlipImageProcessor](/docs/transformers/main/vi/model_doc/blip#transformers.BlipImageProcessor), [~GPT2Tokenizer](/docs/transformers/main/vi/model_doc/gpt2#transformers.GPT2Tokenizer) và `~{qformer_tokenizer_class}` để biết thêm thông tin. #### __call__[[transformers.InstructBlipProcessor.__call__]] ```python __call__(images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = None, text: str | list[str] | list[list[str]] = None, **kwargs: *) ``` [Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/instructblip/processing_instructblip.py#L63) **Tham số:** images (`Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]`, *tùy chọn*) : Ảnh cần tiền xử lý. Kỳ vọng một ảnh đơn hoặc một lô ảnh với giá trị pixel dao động từ 0 đến 255. Nếu truyền vào các ảnh có giá trị pixel nằm trong khoảng từ 0 đến 1, hãy đặt `do_rescale=False`. text (`Union[str, list[str], list[list[str]]]`, *tùy chọn*) : Chuỗi hoặc lô các chuỗi cần được mã hóa. Mỗi chuỗi có thể là một chuỗi ký tự hoặc một danh sách các chuỗi ký tự (chuỗi đã được tách token trước). Nếu bạn truyền vào đầu vào đã tách token trước, hãy đặt `is_split_into_words=True` để tránh nhầm lẫn với các đầu vào dạng lô. return_tensors (`str` hoặc [TensorType](/docs/transformers/main/vi/internal/file_utils#transformers.TensorType), *optional*) : Nếu được đặt, sẽ trả về các tensor của một framework cụ thể. Các giá trị chấp nhận được là: - `'pt'`: Trả về các đối tượng `torch.Tensor` của PyTorch. - `'np'`: Trả về các đối tượng `np.ndarray` của NumPy. - ****kwargs** ([ProcessingKwargs](/docs/transformers/main/vi/main_classes/processors#transformers.ProcessingKwargs), *optional*) : Các tùy chọn xử lý bổ sung cho từng phương thức (text, images, videos, audio). Các tham số cụ thể của model được liệt kê ở trên; xem lớp TypedDict để biết danh sách đầy đủ các đối số được hỗ trợ. **Trả về:** `~image_processing_base.BatchFeature` - **data** (`dict`) -- Từ điển chứa các danh sách/mảng/tensor được trả về bởi phương thức __call__ ('pixel_values', v.v.). - **tensor_type** (`Union[None, str, TensorType]`, *tùy chọn*) -- Bạn có thể cung cấp tensor_type tại đây để chuyển đổi các danh sách số nguyên trong Tensor PyTorch/Numpy khi khởi tạo. ## InstructBlipVisionModel[[transformers.InstructBlipVisionModel]] #### transformers.InstructBlipVisionModel[[transformers.InstructBlipVisionModel]] ```python transformers.InstructBlipVisionModel(config: InstructBlipVisionConfig) ``` [Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/instructblip/modeling_instructblip.py#L392) #### forward[[transformers.InstructBlipVisionModel.forward]] ```python forward(pixel_values: typing.Optional[torch.Tensor] = None, interpolate_pos_encoding: bool = False, **kwargs: *) ``` [Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/instructblip/modeling_instructblip.py#L412) **Tham số:** pixel_values (`torch.Tensor` có hình dạng `(batch_size, num_channels, image_size, image_size)`, *tùy chọn*) : Các tensor tương ứng với các hình ảnh đầu vào. Giá trị pixel có thể được lấy bằng cách sử dụng [BlipImageProcessor](/docs/transformers/main/vi/model_doc/blip#transformers.BlipImageProcessor). Xem [BlipImageProcessor.__call__()](/docs/transformers/main/vi/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) để biết chi tiết ([InstructBlipProcessor](/docs/transformers/main/vi/model_doc/instructblip#transformers.InstructBlipProcessor) sử dụng [BlipImageProcessor](/docs/transformers/main/vi/model_doc/blip#transformers.BlipImageProcessor) để xử lý hình ảnh). interpolate_pos_encoding (`bool`, *tùy chọn*, mặc định là `False`) : Có nội suy các mã hóa vị trí được huấn luyện trước hay không. **Trả về:** [BaseModelOutputWithPooling](/docs/transformers/main/vi/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPooling) hoặc `tuple(torch.Tensor)` Một [BaseModelOutputWithPooling](/docs/transformers/main/vi/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPooling) hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các phần tử khác nhau tùy thuộc vào cấu hình ([InstructBlipConfig](/docs/transformers/main/vi/model_doc/instructblip#transformers.InstructBlipConfig)) và đầu vào. Phương thức forward của [InstructBlipVisionModel](/docs/transformers/main/vi/model_doc/instructblip#transformers.InstructBlipVisionModel) ghi đè lên phương thức đặc biệt `__call__`. Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng. - **last_hidden_state** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`) -- Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của mô hình. - **pooler_output** (`torch.Tensor` có hình dạng `(batch_size, hidden_size)`) -- Trạng thái ẩn của lớp cuối cùng cho token đầu tiên của chuỗi (token phân loại) sau khi được xử lý thêm thông qua các lớp dùng cho tác vụ tiền huấn luyện bổ trợ. Ví dụ, đối với các mô hình thuộc họ BERT, giá trị này trả về token phân loại sau khi được xử lý qua một lớp tuyến tính và một hàm kích hoạt tanh. Trọng số của lớp tuyến tính được huấn luyện từ mục tiêu dự đoán câu tiếp theo (phân loại) trong quá trình tiền huấn luyện. - **hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`. Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn. - **attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`. Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention. ## InstructBlipQFormerModel[[transformers.InstructBlipQFormerModel]] #### transformers.InstructBlipQFormerModel[[transformers.InstructBlipQFormerModel]] ```python transformers.InstructBlipQFormerModel(config: InstructBlipQFormerConfig) ``` [Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/instructblip/modeling_instructblip.py#L760) Querying Transformer (Q-Former), được sử dụng trong InstructBLIP. Được chỉnh sửa nhẹ so với BLIP-2 vì nó cũng nhận chỉ thị (instruction) làm đầu vào. #### forward[[transformers.InstructBlipQFormerModel.forward]] ```python forward(input_ids: LongTensor, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, query_embeds: typing.Optional[torch.Tensor] = None, encoder_hidden_states: typing.Optional[torch.Tensor] = None, encoder_attention_mask: typing.Optional[torch.Tensor] = None, **kwargs: *) ``` [Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/instructblip/modeling_instructblip.py#L799) **Tham số:** input_ids (`torch.LongTensor` có hình dạng `(batch_size, sequence_length)`) : Chỉ số của các token trong chuỗi đầu vào thuộc từ vựng. Mặc định, các token đệm (padding) sẽ bị bỏ qua. Có thể lấy chỉ số bằng cách sử dụng [AutoTokenizer](/docs/transformers/main/vi/model_doc/auto#transformers.AutoTokenizer). Xem [PreTrainedTokenizer.encode()](/docs/transformers/main/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) và [PreTrainedTokenizer.__call__()](/docs/transformers/main/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) để biết thêm chi tiết. [Input IDs là gì?](../glossary#input-ids) attention_mask (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong `[0, 1]`: - 1 cho các token **không bị che**, - 0 cho các token **bị che**. [Mặt nạ chú ý là gì?](../glossary#attention-mask) position_ids (`torch.LongTensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số của vị trí các token trong mỗi chuỗi đầu vào trong các embedding vị trí. Được chọn trong khoảng `[0, config.n_positions - 1]`. [Position IDs là gì?](../glossary#position-ids) query_embeds (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`) : Trạng thái ẩn (hidden states) được sử dụng trong phép tính chú ý (attention). Nếu là cross-attention, sẽ được dùng cho query (tức là key và value sẽ sử dụng encoder_hidden_states). encoder_hidden_states (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`, *tùy chọn*) : Chuỗi các hidden-states tại đầu ra của lớp cuối cùng của encoder. Được sử dụng trong cross-attention nếu mô hình được cấu hình như một decoder. encoder_attention_mask (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm của đầu vào bộ mã hóa. Mặt nạ này được sử dụng trong chú ý chéo nếu mô hình được cấu hình như một bộ giải mã. Các giá trị mặt nạ được chọn trong `[0, 1]`: - 1 cho các token **không bị che**, - 0 cho các token **bị che**. **Trả về:** [BaseModelOutputWithPoolingAndCrossAttentions](/docs/transformers/main/vi/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPoolingAndCrossAttentions) hoặc `tuple(torch.Tensor)` Một [BaseModelOutputWithPoolingAndCrossAttentions](/docs/transformers/main/vi/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPoolingAndCrossAttentions) hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các phần tử khác nhau tùy thuộc vào cấu hình ([InstructBlipConfig](/docs/transformers/main/vi/model_doc/instructblip#transformers.InstructBlipConfig)) và đầu vào. Phương thức forward của [InstructBlipQFormerModel](/docs/transformers/main/vi/model_doc/instructblip#transformers.InstructBlipQFormerModel) ghi đè lên phương thức đặc biệt `__call__`. Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng. - **last_hidden_state** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`) -- Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của mô hình. - **pooler_output** (`torch.Tensor` có hình dạng `(batch_size, hidden_size)`) -- Trạng thái ẩn của lớp cuối cùng cho token đầu tiên của chuỗi (token phân loại) sau khi được xử lý thêm thông qua các lớp dùng cho tác vụ tiền huấn luyện bổ trợ. Ví dụ, đối với các mô hình thuộc họ BERT, giá trị này trả về token phân loại sau khi được xử lý qua một lớp tuyến tính và một hàm kích hoạt tanh. Trọng số của lớp tuyến tính được huấn luyện từ mục tiêu dự đoán câu tiếp theo (phân loại) trong quá trình tiền huấn luyện. - **hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`. Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn. - **attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`. Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention. - **cross_attentions** (`tuple(torch.Tensor)`, *tùy chọn*, được trả về khi `output_attentions=True` và `config.add_cross_attention=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`. Trọng số chú ý của lớp cross-attention của bộ giải mã, sau softmax chú ý, được sử dụng để tính trung bình có trọng số trong các đầu chú ý chéo. - **past_key_values** (`Cache`, *tùy chọn*, được trả về khi `use_cache=True` được truyền vào hoặc khi `config.use_cache=True`) -- Đây là một instance của [Cache](/docs/transformers/main/vi/internal/generation_utils#transformers.Cache). Để biết thêm chi tiết, hãy xem [hướng dẫn về kv cache](https://huggingface.co/docs/transformers/en/kv_cache) của chúng tôi. Chứa các hidden-states đã được tính trước (key và values trong các khối self-attention và tùy chọn nếu `config.is_encoder_decoder=True` trong các khối cross-attention) có thể được sử dụng (xem đầu vào `past_key_values`) để tăng tốc độ giải mã tuần tự. ## InstructBlipModel[[transformers.InstructBlipModel]] #### transformers.InstructBlipModel[[transformers.InstructBlipModel]] ```python transformers.InstructBlipModel(config: InstructBlipConfig) ``` [Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/instructblip/modeling_instructblip.py#L867) **Tham số:** config ([InstructBlipConfig](/docs/transformers/main/vi/model_doc/instructblip#transformers.InstructBlipConfig)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/main/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình. Mô hình cơ sở InstructBLIP bao gồm mô hình ngôn ngữ, qformer và bộ mã hóa thị giác. Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/main/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.) Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung. #### forward[[transformers.InstructBlipModel.forward]] ```python forward(pixel_values: Tensor, qformer_input_ids: Tensor, qformer_attention_mask: typing.Optional[torch.LongTensor] = None, input_ids: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.LongTensor] = None, decoder_input_ids: typing.Optional[torch.LongTensor] = None, decoder_attention_mask: typing.Optional[torch.LongTensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, interpolate_pos_encoding: bool = False, **kwargs: *) ``` [Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/instructblip/modeling_instructblip.py#L919) **Tham số:** pixel_values (`torch.Tensor` có shape `(batch_size, num_channels, image_size, image_size)`) : Các tensor tương ứng với các ảnh đầu vào. Giá trị pixel có thể được lấy bằng [BlipImageProcessor](/docs/transformers/main/vi/model_doc/blip#transformers.BlipImageProcessor). Xem [BlipImageProcessor.__call__()](/docs/transformers/main/vi/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) để biết chi tiết ([InstructBlipProcessor](/docs/transformers/main/vi/model_doc/instructblip#transformers.InstructBlipProcessor) sử dụng [BlipImageProcessor](/docs/transformers/main/vi/model_doc/blip#transformers.BlipImageProcessor) để xử lý ảnh). qformer_input_ids (`torch.LongTensor` có shape `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số của các token trong chuỗi đầu vào thuộc từ vựng của Q-Former. Các token đầu vào có thể được cung cấp tùy chọn để đóng vai trò là prompt văn bản, mà mô hình Q-Former sẽ mã hóa. Có thể lấy các chỉ số này bằng cách sử dụng [InstructBlipProcessor](/docs/transformers/main/vi/model_doc/instructblip#transformers.InstructBlipProcessor). Xem [InstructBlipProcessor.__call__()](/docs/transformers/main/vi/model_doc/instructblip#transformers.InstructBlipProcessor.__call__) để biết chi tiết. [Các input ID là gì?](../glossary#input-ids) qformer_attention_mask (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong `[0, 1]`: - 1 cho các token **không bị che**, - 0 cho các token **bị che**. [Mặt nạ chú ý là gì?](../glossary#attention-mask) input_ids (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số của các token trong chuỗi đầu vào theo từ vựng. Mặc định, các token đệm (padding) sẽ bị bỏ qua. Có thể lấy chỉ số bằng cách sử dụng [AutoTokenizer](/docs/transformers/main/vi/model_doc/auto#transformers.AutoTokenizer). Xem [PreTrainedTokenizer.encode()](/docs/transformers/main/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) và [PreTrainedTokenizer.__call__()](/docs/transformers/main/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) để biết thêm chi tiết. [ID đầu vào là gì?](../glossary#input-ids) attention_mask (`torch.LongTensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong `[0, 1]`: - 1 cho các token **không bị che**, - 0 cho các token **bị che**. [Mặt nạ chú ý là gì?](../glossary#attention-mask) decoder_input_ids (`torch.LongTensor` có shape `(batch_size, target_sequence_length)`, *tùy chọn*) : Chỉ số của các token trong chuỗi đầu vào của bộ giải mã trong từ vựng. Các chỉ số có thể được lấy bằng cách sử dụng [AutoTokenizer](/docs/transformers/main/vi/model_doc/auto#transformers.AutoTokenizer). Xem [PreTrainedTokenizer.encode()](/docs/transformers/main/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) và [PreTrainedTokenizer.__call__()](/docs/transformers/main/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) để biết chi tiết. [Các ID đầu vào của bộ giải mã là gì?](../glossary#decoder-input-ids) decoder_attention_mask (`torch.BoolTensor` có shape `(batch_size, target_sequence_length)`, *tùy chọn*) : Hành vi mặc định: tạo một tensor bỏ qua các token pad trong `decoder_input_ids`. Causal mask cũng sẽ được sử dụng theo mặc định. Chỉ liên quan trong trường hợp sử dụng mô hình ngôn ngữ encoder-decoder (như T5). inputs_embeds (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`, *tùy chọn*) : Tùy chọn, thay vì truyền `input_ids`, bạn có thể chọn cách truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ số `input_ids` thành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình. interpolate_pos_encoding (`bool`, *tùy chọn*, mặc định là `False`) : Có nội suy các mã hóa vị trí được huấn luyện trước hay không. **Trả về:** `InstructBlipForConditionalGenerationModelOutput` hoặc `tuple(torch.Tensor)` Một `InstructBlipForConditionalGenerationModelOutput` hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các phần tử khác nhau tùy thuộc vào cấu hình ([InstructBlipConfig](/docs/transformers/main/vi/model_doc/instructblip#transformers.InstructBlipConfig)) và đầu vào. Phương thức forward của [InstructBlipModel](/docs/transformers/main/vi/model_doc/instructblip#transformers.InstructBlipModel) ghi đè lên phương thức đặc biệt `__call__`. Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng. - **loss** (`torch.Tensor`, *optional*, được trả về khi `labels` được cung cấp, `torch.Tensor` có hình dạng `(1,)`) -- Tổn mô hình hóa ngôn ngữ từ mô hình ngôn ngữ. - **logits** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, config.vocab_size)`) -- Điểm dự đoán của đầu mô hình ngôn ngữ (language modeling head) của mô hình ngôn ngữ. - **vision_outputs** (`~modeling_outputs.BaseModelOutputWithPooling`, *tùy chọn*) -- Đầu ra của bộ mã hóa thị giác. - **qformer_outputs** (`~modeling_outputs.BaseModelOutputWithPoolingAndCrossAttentions`, *tùy chọn*) -- Đầu ra của Q-Former (Querying Transformer). - **language_model_outputs** (`CausalLMOutputWithPast` hoặc `Seq2SeqLMOutput`) -- Đầu ra của mô hình ngôn ngữ. #### get_placeholder_mask[[transformers.InstructBlipModel.get_placeholder_mask]] ```python get_placeholder_mask(input_ids: LongTensor, inputs_embeds: Tensor) ``` [Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/instructblip/modeling_instructblip.py#L904) Lấy mặt nạ placeholder đa phương thức từ `input_ids` hoặc `inputs_embeds`. ## InstructBlipForConditionalGeneration[[transformers.InstructBlipForConditionalGeneration]] #### transformers.InstructBlipForConditionalGeneration[[transformers.InstructBlipForConditionalGeneration]] ```python transformers.InstructBlipForConditionalGeneration(config: InstructBlipConfig) ``` [Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/instructblip/modeling_instructblip.py#L1028) **Tham số:** config ([InstructBlipConfig](/docs/transformers/main/vi/model_doc/instructblip#transformers.InstructBlipConfig)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/main/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình. Mô hình InstructBLIP để tạo văn bản dựa trên một hình ảnh và một prompt văn bản tùy chọn. Mô hình bao gồm một bộ mã hóa thị giác, Querying Transformer (Q-Former) và một mô hình ngôn ngữ. Người dùng có thể tùy chọn truyền `input_ids` vào mô hình, đóng vai trò là một prompt văn bản, để mô hình ngôn ngữ tiếp tục prompt đó. Nếu không, mô hình ngôn ngữ sẽ bắt đầu tạo văn bản từ token [BOS] (beginning-of-sequence). Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/main/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.) Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung. #### forward[[transformers.InstructBlipForConditionalGeneration.forward]] ```python forward(pixel_values: Tensor, qformer_input_ids: Tensor, qformer_attention_mask: typing.Optional[torch.LongTensor] = None, input_ids: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.LongTensor] = None, decoder_input_ids: typing.Optional[torch.LongTensor] = None, decoder_attention_mask: typing.Optional[torch.LongTensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.LongTensor] = None, interpolate_pos_encoding: bool = False, mm_encoder_outputs: dict[str, transformers.modeling_outputs.BaseModelOutputWithPooling] | None = None, **kwargs: *) ``` [Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/instructblip/modeling_instructblip.py#L1174) **Tham số:** pixel_values (`torch.Tensor` có shape `(batch_size, num_channels, image_size, image_size)`) : Các tensor tương ứng với các ảnh đầu vào. Giá trị pixel có thể được lấy bằng [BlipImageProcessor](/docs/transformers/main/vi/model_doc/blip#transformers.BlipImageProcessor). Xem [BlipImageProcessor.__call__()](/docs/transformers/main/vi/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) để biết chi tiết ([InstructBlipProcessor](/docs/transformers/main/vi/model_doc/instructblip#transformers.InstructBlipProcessor) sử dụng [BlipImageProcessor](/docs/transformers/main/vi/model_doc/blip#transformers.BlipImageProcessor) để xử lý ảnh). qformer_input_ids (`torch.LongTensor` có shape `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số của các token trong chuỗi đầu vào thuộc từ vựng của Q-Former. Các token đầu vào có thể được cung cấp tùy chọn để đóng vai trò là prompt văn bản, mà mô hình Q-Former sẽ mã hóa. Có thể lấy các chỉ số này bằng cách sử dụng [InstructBlipProcessor](/docs/transformers/main/vi/model_doc/instructblip#transformers.InstructBlipProcessor). Xem [InstructBlipProcessor.__call__()](/docs/transformers/main/vi/model_doc/instructblip#transformers.InstructBlipProcessor.__call__) để biết chi tiết. [Các input ID là gì?](../glossary#input-ids) qformer_attention_mask (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong `[0, 1]`: - 1 cho các token **không bị che**, - 0 cho các token **bị che**. [Mặt nạ chú ý là gì?](../glossary#attention-mask) input_ids (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số của các token trong chuỗi đầu vào theo từ vựng. Mặc định, các token đệm (padding) sẽ bị bỏ qua. Có thể lấy chỉ số bằng cách sử dụng [AutoTokenizer](/docs/transformers/main/vi/model_doc/auto#transformers.AutoTokenizer). Xem [PreTrainedTokenizer.encode()](/docs/transformers/main/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) và [PreTrainedTokenizer.__call__()](/docs/transformers/main/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) để biết thêm chi tiết. [ID đầu vào là gì?](../glossary#input-ids) attention_mask (`torch.LongTensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong `[0, 1]`: - 1 cho các token **không bị che**, - 0 cho các token **bị che**. [Mặt nạ chú ý là gì?](../glossary#attention-mask) decoder_input_ids (`torch.LongTensor` có shape `(batch_size, target_sequence_length)`, *tùy chọn*) : Chỉ số của các token trong chuỗi đầu vào của bộ giải mã trong từ vựng. Các chỉ số có thể được lấy bằng cách sử dụng [AutoTokenizer](/docs/transformers/main/vi/model_doc/auto#transformers.AutoTokenizer). Xem [PreTrainedTokenizer.encode()](/docs/transformers/main/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) và [PreTrainedTokenizer.__call__()](/docs/transformers/main/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) để biết chi tiết. [Các ID đầu vào của bộ giải mã là gì?](../glossary#decoder-input-ids) decoder_attention_mask (`torch.BoolTensor` có shape `(batch_size, target_sequence_length)`, *tùy chọn*) : Hành vi mặc định: tạo một tensor bỏ qua các token pad trong `decoder_input_ids`. Causal mask cũng sẽ được sử dụng theo mặc định. Chỉ liên quan trong trường hợp sử dụng mô hình ngôn ngữ encoder-decoder (như T5). inputs_embeds (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`, *tùy chọn*) : Tùy chọn, thay vì truyền `input_ids`, bạn có thể chọn cách truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ số `input_ids` thành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình. labels (`torch.LongTensor` có hình dạng `(batch_size,)`, *tùy chọn*) : Nhãn để tính toán tổn thất mô hình hóa ngôn ngữ. Chỉ số phải nằm trong `[-100, 0, ..., config.vocab_size - 1]`. Tất cả các nhãn được đặt thành `-100` sẽ bị bỏ qua (che), tổn thất chỉ được tính cho các nhãn trong `[0, ..., config.vocab_size]` interpolate_pos_encoding (`bool`, *tùy chọn*, mặc định là `False`) : Có nội suy các mã hóa vị trí được huấn luyện trước hay không. mm_encoder_outputs (`dict[str, ~modeling_outputs.BaseModelOutputWithPooling]`, *tùy chọn*) : Dict trong đó các khóa là các chế độ (modalities) được hỗ trợ và các giá trị là kết quả mã hóa cho chế độ đó. Mỗi kết quả mã hóa là một tuple bao gồm (`pooler_output`, *tùy chọn*: `last_hidden_states`, *tùy chọn*: `hidden_states`, *tùy chọn*: `attentions`) `pooler_output` có hình dạng `(batch_size, sequence_length, hidden_size)`, *tùy chọn*) là một chuỗi các đặc trưng đa chế độ của bộ mã hóa được hợp nhất vào các nhúng văn bản. **Trả về:** `InstructBlipForConditionalGenerationModelOutput` hoặc `tuple(torch.Tensor)` Một `InstructBlipForConditionalGenerationModelOutput` hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các phần tử khác nhau tùy thuộc vào cấu hình ([InstructBlipConfig](/docs/transformers/main/vi/model_doc/instructblip#transformers.InstructBlipConfig)) và đầu vào. Phương thức forward của [InstructBlipForConditionalGeneration](/docs/transformers/main/vi/model_doc/instructblip#transformers.InstructBlipForConditionalGeneration) ghi đè lên phương thức đặc biệt `__call__`. Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng. - **loss** (`torch.Tensor`, *optional*, được trả về khi `labels` được cung cấp, `torch.Tensor` có hình dạng `(1,)`) -- Tổn mô hình hóa ngôn ngữ từ mô hình ngôn ngữ. - **logits** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, config.vocab_size)`) -- Điểm dự đoán của đầu mô hình ngôn ngữ (language modeling head) của mô hình ngôn ngữ. - **vision_outputs** (`~modeling_outputs.BaseModelOutputWithPooling`, *tùy chọn*) -- Đầu ra của bộ mã hóa thị giác. - **qformer_outputs** (`~modeling_outputs.BaseModelOutputWithPoolingAndCrossAttentions`, *tùy chọn*) -- Đầu ra của Q-Former (Querying Transformer). - **language_model_outputs** (`CausalLMOutputWithPast` hoặc `Seq2SeqLMOutput`) -- Đầu ra của mô hình ngôn ngữ. Ví dụ: ```python >>> from transformers import InstructBlipProcessor, InstructBlipForConditionalGeneration >>> import torch >>> from PIL import Image >>> from huggingface_hub.utils import httpx >>> from io import BytesIO >>> model = InstructBlipForConditionalGeneration.from_pretrained("Salesforce/instructblip-vicuna-7b") >>> processor = InstructBlipProcessor.from_pretrained("Salesforce/instructblip-vicuna-7b") >>> device = "cuda" if torch.cuda.is_available() else "cpu" >>> model.to(device) >>> url = "https://huggingface.co/datasets/hf-internal-testing/transformers-synthetic-assets/resolve/main/images/lavis_confusing_pictures.jpg" >>> with httpx.stream("GET", url) as response: ... image = Image.open(BytesIO(response.read())).convert("RGB") >>> prompt = "What is unusual about this image?" >>> inputs = processor(images=image, text=prompt, return_tensors="pt").to(device) >>> outputs = model.generate( ... **inputs, ... do_sample=False, ... num_beams=5, ... max_length=256, ... min_length=1, ... top_p=0.9, ... repetition_penalty=1.5, ... length_penalty=1.0, ... temperature=1, ... ) >>> generated_text = processor.batch_decode(outputs, skip_special_tokens=True)[0].strip() >>> print(generated_text) The unusual aspect of this image is that a man is ironing clothes on the back of a yellow SUV, which is parked in the middle of a busy city street. This is an unconventional approach to ironing clothes, as it requires the man to balance himself and his ironing equipment on top of the vehicle while navigating through traffic. Additionally, the presence of taxis and other vehicles in the scene further emphasizes the unusual nature of this situation. ``` #### generate[[transformers.InstructBlipForConditionalGeneration.generate]] ```python generate(pixel_values: Tensor, qformer_input_ids: typing.Optional[torch.LongTensor] = None, qformer_attention_mask: typing.Optional[torch.LongTensor] = None, input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.LongTensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, interpolate_pos_encoding: bool = False, **generate_kwargs) ``` [Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/instructblip/modeling_instructblip.py#L1313) **Tham số:** pixel_values (`torch.Tensor` có shape (batch_size, num_channels, height, width)) : Ảnh đầu vào cần được xử lý. qformer_input_ids (`torch.LongTensor` có shape (batch_size, sequence_length), *tùy chọn*) : Chuỗi được sử dụng làm prompt để đưa vào module Q-Former. qformer_attention_mask (`torch.LongTensor` có shape (batch_size, sequence_length), *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. input_ids (`torch.LongTensor` có shape (batch_size, sequence_length), *tùy chọn*) : Chuỗi được sử dụng làm prompt cho quá trình sinh. attention_mask (`torch.LongTensor` có shape (batch_size, sequence_length), *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. inputs_embeds (`torch.Tensor` có shape `(batch_size, sequence_length, hidden_size)`) : Đại diện nhúng của các đầu vào. Phải là float, không phải token int. interpolate_pos_encoding (`bool`, *tùy chọn*, mặc định là `False`) : Có nội suy mã hóa vị trí của các nhúng hình ảnh hay không. **Trả về:** `captions (list)` Một danh sách các chuỗi có độ dài batch_size * num_captions. Ghi đè hàm `generate` để có thể sử dụng mô hình như một bộ tạo có điều kiện. #### get_image_features[[transformers.InstructBlipForConditionalGeneration.get_image_features]] ```python get_image_features(pixel_values: Tensor, qformer_input_ids: LongTensor, qformer_attention_mask: typing.Optional[torch.LongTensor] = None, interpolate_pos_encoding: bool | None = False, **kwargs: *) ``` [Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/instructblip/modeling_instructblip.py#L1091) **Tham số:** pixel_values (`torch.Tensor` có hình dạng `(batch_size, num_channels, image_size, image_size)`) : Các tensor tương ứng với các hình ảnh đầu vào. qformer_input_ids (`torch.LongTensor` có shape `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số của các token trong chuỗi đầu vào thuộc từ vựng của Q-Former. Các token đầu vào có thể được cung cấp tùy chọn để đóng vai trò là prompt văn bản, mà mô hình Q-Former sẽ mã hóa. Có thể lấy các chỉ số này bằng cách sử dụng [InstructBlipProcessor](/docs/transformers/main/vi/model_doc/instructblip#transformers.InstructBlipProcessor). Xem [InstructBlipProcessor.__call__()](/docs/transformers/main/vi/model_doc/instructblip#transformers.InstructBlipProcessor.__call__) để biết chi tiết. [Các input ID là gì?](../glossary#input-ids) qformer_attention_mask (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong `[0, 1]`: - 1 cho các token **không bị che**, - 0 cho các token **bị che**. [Mặt nạ chú ý là gì?](../glossary#attention-mask) interpolate_pos_encoding (`bool`, *tùy chọn*, mặc định là `False`) : Có nội suy các mã hóa vị trí được huấn luyện trước hay không. **Trả về:** `BaseModelOutputWithVisionQformerOutputs` hoặc `tuple(torch.Tensor)` Một `BaseModelOutputWithVisionQformerOutputs` hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các phần tử khác nhau tùy thuộc vào cấu hình ([InstructBlipConfig](/docs/transformers/main/vi/model_doc/instructblip#transformers.InstructBlipConfig)) và đầu vào. - **last_hidden_state** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`) -- Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của mô hình. - **pooler_output** (`torch.Tensor` có hình dạng `(batch_size, hidden_size)`) -- Trạng thái ẩn của lớp cuối cùng cho token đầu tiên của chuỗi (token phân loại) sau khi được xử lý thêm thông qua các lớp dùng cho tác vụ tiền huấn luyện bổ trợ. Ví dụ, đối với các mô hình thuộc họ BERT, giá trị này trả về token phân loại sau khi được xử lý qua một lớp tuyến tính và một hàm kích hoạt tanh. Trọng số của lớp tuyến tính được huấn luyện từ mục tiêu dự đoán câu tiếp theo (phân loại) trong quá trình tiền huấn luyện. - **hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`. Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn. - **attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`. Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention. - **vision_outputs** (`~modeling_outputs.BaseModelOutputWithPooling`, *tùy chọn*) -- Đầu ra của bộ mã hóa thị giác. - **qformer_outputs** (`~modeling_outputs.BaseModelOutputWithPoolingAndCrossAttentions`, *tùy chọn*) -- Đầu ra của Q-Former (Querying Transformer). Ví dụ: ```python >>> from PIL import Image >>> from transformers import AutoProcessor, InstructBlipForConditionalGeneration >>> model = InstructBlipForConditionalGeneration.from_pretrained("Salesforce/instructblip-flan-t5-xl") >>> processor = AutoProcessor.from_pretrained("Salesforce/instructblip-flan-t5-xl") >>> messages = [ ... { ... "role": "user", "content": [ ... {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"}, ... {"type": "text", "text": "Where is the cat standing?"}, ... ] ... }, ... ] >>> inputs = processor.apply_chat_template( ... messages, ... tokenize=True, ... return_dict=True, ... return_tensors="pt", ... add_generation_prompt=True ... ) >>> # Generate >>> generate_ids = model.generate(**inputs) >>> processor.batch_decode(generate_ids, skip_special_tokens=True)[0] ```