{/* Trang này được tạo tự động từ SKILL.md của kỹ năng bởi website/scripts/generate-skill-docs.py. Chỉnh sửa nguồn SKILL.md, không phải trang này. */}
Axolotl

Axolotl: Tinh chỉnh YAML LLM (LoRA, DPO, GRPO).
Siêu dữ liệu kỹ năng


Nguồn	Tùy chọn — cài đặt với
`Hermes skills install official/mlops/axolotl
`
Đường dẫn
optional-skills/mlops/training/axolotl ` | | Phiên bản |
axolotl
, `torch
, `transformers
, `datasets
, `peft
, `accelerate
Fine-Tuning
, `Axolotl
, `LLM
, `LoRA
, `QLoRA
, `DPO
, `KTO
, `ORPO
, `GRPO
, 
`HuggingFace

, 
`DeepSpeed

, 
`Multimodal
` |

## Tham khảo: đầy đủ SKILL.md

:::info
Sau đây là định nghĩa kỹ năng đầy đủ mà Hermes tải khi kỹ năng này được kích hoạt. Đây là những gì tác nhân coi là hướng dẫn khi kỹ năng được kích hoạt.

:::

# Kỹ năng Kỳ giông`##Có gì bên trong

Hướng dẫn của chuyên gia để tinh chỉnh LLM với Axolotl — Cấu hình YAML, hơn 100 mô hình, LoRA/QLoRA, DPO/KTO/ORPO/GRPO, hỗ trợ đa phương thức.

Hỗ trợ toàn diện về phát triển axolotl, được tạo ra từ tài liệu chính thức.

## Khi nào nên sử dụng kỹ năng này

Kỹ năng này sẽ được kích hoạt khi:
- Làm việc với axolotl
- Hỏi về các tính năng hoặc API của axolotl
- Triển khai giải pháp axolotl
- Gỡ lỗi mã axolotl
- Học các phương pháp hay nhất về axolotl

## Tham khảo nhanh

### Các mẫu phổ biến`**Mẫu 1:** Để xác thực rằng tốc độ truyền dữ liệu có thể chấp nhận được cho công việc đào tạo của bạn, việc chạy Kiểm tra NCCL có thể giúp xác định các điểm nghẽn, ví dụ:

`
./build/all_reduce_perf -b 8 -e 128M -f 2 -g 3

`
``**Mẫu 2:** Định cấu hình mô hình của bạn để sử dụng FSDP trong Axolotl YAML. Ví dụ:

`
fsdp_version: 2
fsdp_config:
  offload_params: true
  state_dict_type: FULL_STATE_DICT
  auto_wrap_policy: TRANSFORMER_BASED_WRAP
  transformer_layer_cls_to_wrap: LlamaDecoderLayer
  reshard_after_forward: true

`
``**Mẫu 3:** context_parallel_size phải là ước số của tổng số GPU. Ví dụ:

`
context_parallel_size

`
``**Mẫu 4:** Ví dụ: - Với 8 GPU và không có sự song song trình tự: 8 lô khác nhau được xử lý mỗi bước - Với 8 GPU và context_parallel_size=4: Chỉ có 2 lô khác nhau được xử lý mỗi bước (mỗi lô được chia thành 4 GPU) - Nếu micro_batch_size trên mỗi GPU của bạn là 2 thì kích thước lô toàn cầu sẽ giảm từ 16 xuống 4

`
context_parallel_size=4

`
``**Mẫu 5:** Cài đặt save_compression: true trong cấu hình của bạn sẽ cho phép lưu mô hình ở định dạng nén, điều này: - Giảm mức sử dụng dung lượng ổ đĩa khoảng 40% - Duy trì khả năng tương thích với vLLM để tăng tốc suy luận - Duy trì khả năng tương thích với LLMcompressor để tối ưu hóa hơn nữa (ví dụ: lượng tử hóa)

`
save_compressed: true

`
``**Mẫu 6:** Lưu ý Không cần thiết phải đặt tiện ích tích hợp của bạn vào thư mục tích hợp. Nó có thể ở bất kỳ vị trí nào, miễn là nó được cài đặt trong một gói trong env Python của bạn. Xem ví dụ về repo này: https://GitHub.com/axolotl-ai-cloud/diff-transformer

`
integrations

`
``**Mẫu 7:** Xử lý cả dữ liệu mẫu đơn và dữ liệu theo lô. - ví dụ đơn: sample['input_ids'] là một danh sách[int] - dữ liệu theo lô: sample['input_ids'] là một danh sách[list[int]]

`
utils.trainer.drop_long_seq(sample, sequence_len=2048, min_sequence_len=2)

`

### Mẫu mã ví dụ`**Ví dụ 1** (trăn):

`
``` python
CLI.cloud.modal_.ModalCloud(config, app=None)

`
``**Ví dụ 2** (trăn):

`
`Python
CLI.cloud.modal_.run_cmd(cmd, run_folder, volumes=None)

`
``**Ví dụ 3** (trăn):

`
`Python
core.trainers.base.AxolotlTrainer(

    *_args,
    bench_data_collator=None,
    eval_data_collator=None,
    dataset_tags=None,
    **kwargs,
)

`
``**Ví dụ 4** (trăn):

`
``` python
core.trainers.base.AxolotlTrainer.log(logs, start_time=None)

`
``**Ví dụ 5** (trăn):

`
`Python
prompt_strategies.input_output.RawInputOutputPrompter()

`

## Tệp tham khảo

Kỹ năng này bao gồm tài liệu toàn diện trong 
`references/

:
- **API.md** - Tài liệu về API

- **dataset-formats.md** - Tài liệu về định dạng tập dữ liệu
- **other.md** - Tài liệu khác

Sử dụng 
`view
` để đọc các tệp tham chiếu cụ thể khi cần thông tin chi tiết.

## Làm việc với Kỹ năng này

### Dành cho người mới bắt đầu
Bắt đầu với các tệp tham chiếu Getting_started hoặc tutorials cho các khái niệm cơ bản.

### Để biết các tính năng cụ thể
Sử dụng tệp tham chiếu danh mục thích hợp (API, hướng dẫn, v.v.) để biết thông tin chi tiết.

### Ví dụ về mã
Phần tham khảo nhanh ở trên chứa các mẫu phổ biến được trích xuất từ ​​các tài liệu chính thức.

## Tài nguyên

### tài liệu tham khảo/
Tài liệu có tổ chức được trích xuất từ ​​các nguồn chính thức. Những tập tin này chứa:
- Giải thích chi tiết
- Ví dụ về mã có chú thích ngôn ngữ
- Liên kết đến tài liệu gốc
- Mục lục để điều hướng nhanh chóng

### kịch bản/
Thêm tập lệnh trợ giúp vào đây cho các tác vụ tự động hóa phổ biến.### tài sản/
Thêm mẫu, bản soạn sẵn hoặc dự án ví dụ tại đây.

## Ghi chú
- Kỹ năng này được tạo tự động từ tài liệu chính thức
- Tệp tham chiếu giữ nguyên cấu trúc và ví dụ từ tài liệu nguồn
- Ví dụ về mã bao gồm phát hiện ngôn ngữ để làm nổi bật cú pháp tốt hơn
- Các mẫu tham khảo nhanh được trích xuất từ các ví dụ sử dụng phổ biến trong tài liệu

## Đang cập nhật

Để làm mới kỹ năng này bằng tài liệu cập nhật:
1. Chạy lại máy cạp với cấu hình tương tự
2. Kỹ năng sẽ được xây dựng lại với thông tin mới nhất
Siêu dữ liệu kỹ năng​

Siêu dữ liệu kỹ năng
