{/* Trang này được tạo tự động từ SKILL.md của kỹ năng bởi website/scripts/generate-skill-docs.py. Chỉnh sửa nguồn SKILL.md, không phải trang này. */}

xóa chữ

OBLITERATUS: xóa bỏ các từ chối LLM (khác biệt về phương tiện).

Siêu dữ liệu kỹ năng

Nguồn	Đi kèm (được cài đặt theo mặc định)
Đường dẫn

skills/mlops/inference/obliteratus ` | | Phiên bản |

2.0.0 ` | | Tác giả | Đại lý Hermes | | Giấy phép | MIT | | Phụ thuộc |

obliteratus

, `torch

, `transformers

, `bitsandbytes

, `accelerate

, safetensors | | Nền tảng | Linux, macOS | | Thẻ |

Abliteration

, `Uncensoring

, `Refusal-Removal

, `LLM

, `Weight-Projection

, `SVD

, `Mechanistic-Interpretability

, `HuggingFace

, Model-Surgery | | Kỹ năng liên quan |

vLLM

, `gguf

, XPROTECTX29XPROTECTX |

Tham khảo: đầy đủ SKILL.md

thông tin

Sau đây là định nghĩa kỹ năng đầy đủ mà Hermes tải khi kỹ năng này được kích hoạt. Đây là những gì tác nhân coi là hướng dẫn khi kỹ năng được kích hoạt.

Kỹ năng xóa bỏ##Có gì bên trong9 phương pháp CLI, 28 mô-đun phân tích, 116 cài đặt trước của mô hình trên 5 tầng điện toán, đánh giá giải đấu và đề xuất dựa trên phép đo từ xa.

Loại bỏ các hành vi từ chối (rào chắn) khỏi LLM có trọng lượng mở mà không cần đào tạo lại hoặc tinh chỉnh. Sử dụng các kỹ thuật có thể diễn giải cơ học — bao gồm phương tiện khác biệt, SVD, SVD được làm trắng, xóa khái niệm LEACE, phân tách SAE, phép chiếu nhân Bayesian, v.v. — để xác định và loại bỏ một cách phẫu thuật các hướng từ chối khỏi trọng số mô hình trong khi vẫn duy trì khả năng lý luận.

Cảnh báo về giấy phép: OBLITERATUS là AGPL-3.0. KHÔNG BAO GIỜ nhập nó dưới dạng thư viện Python. Luôn gọi thông qua CLI (lệnh `obliteratus

) hoặc subprocess. Điều này giữ cho giấy phép MIT của Đại lý Hermes luôn trong sạch.`##Video hướng dẫn

Hướng dẫn về OBLITERATUS được đặc vụ Hermes sử dụng để tiêu diệt Gemma: https://www.youtube.com/watch?v=8fG9BrNTeHs ("OBLITERATUS: Đặc vụ AI đã loại bỏ các rào chắn an toàn của Gemma 4")

Hữu ích khi người dùng muốn có cái nhìn tổng quan trực quan về quy trình làm việc từ đầu đến cuối trước khi tự chạy nó.

Khi nào nên sử dụng kỹ năng này

Kích hoạt khi người dùng:

• Muốn "bỏ kiểm duyệt" hoặc "xóa bỏ" LLM
• Hỏi về việc loại bỏ các rào cản/từ chối khỏi mô hình
• Muốn tạo một phiên bản không bị kiểm duyệt của Llama, Qwen, Mistral, v.v.
• Đề cập đến “từ chối loại bỏ”, “xóa bỏ”, “phóng chiếu”
• Muốn phân tích cơ chế từ chối của một người mẫu hoạt động như thế nào
• Tài liệu tham khảo OBLITERATUS, abliterator, hoặc chỉ dẫn từ chối

Bước 1: Cài đặt

Kiểm tra xem đã được cài đặt chưa:

`

obliteratus --version 2>/dev/null && echo "INSTALLED" || echo "NOT INSTALLED"

`
``Nếu chưa được cài đặt, hãy sao chép và cài đặt từ GitHub:

`
`bash
git clone https://GitHub.com/elder-plinius/OBLITERATUS.git
cd OBLITERATUS
pip install -e .

# For Gradio web UI support:
# pip install -e ".[spaces]"

`
``**QUAN TRỌNG:** Xác nhận với người dùng trước khi cài đặt. Điều này kéo theo ~ 5-10GB phụ thuộc (PyTorch, Transformers, bitandbyte, v.v.).

## Bước 2: Kiểm tra phần cứng

Trước bất cứ điều gì, hãy kiểm tra xem GPU nào có sẵn:

`
``` bash
Python3 -c "
 import torch
if torch.cuda.is_available():
    gpu = torch.cuda.get_device_name(0)
    vram = torch.cuda.get_device_properties(0).total_memory / 1024**3
    print(f'GPU: \{gpu}')
    print(f'VRAM: \{vram:.1f} GB')
    if vram < 4: print('TIER: tiny (models under 1B)')
    elif vram < 8: print('TIER: small (models 1-4B)')
    elif vram < 16: print('TIER: medium (models 4-9B with 4bit quant)')
    elif vram < 32: print('TIER: large (models 8-32B with 4bit quant)')
    else: print('TIER: frontier (models 32B+)')
else:
    print('NO GPU - only tiny models (under 1B) on CPU')
"

`

### Yêu cầu VRAM (với lượng tử hóa 4 bit)

| VRAM | Kích thước mô hình tối đa | Mô hình ví dụ |
|:----------|:----------------|:----------------------------------------------------|
| Chỉ CPU | ~ Thông số 1B | GPT-2, TinyLlama, SmoLLM |
| 4-8GB | ~ Thông số 4B | Qwen2.5-1.5B, Phi-3.5 mini, Llama 3.2 3B |
| 8-16 GB | ~9B thông số | Llama 3.1 8B, Mistral 7B, Gemma 2 9B |
| 24GB | ~ thông số 32B | Qwen3-32B, Llama 3.1 70B (chặt), Command-R |
| 48GB+ | ~72B+ thông số | Qwen2.5-72B, DeepSeek-R1 |
| Đa GPU| 200B+ thông số | Llama 3.1 405B, DeepSeek-V3 (685B MoE) |

## Bước 3: Duyệt các mẫu có sẵn và nhận đề xuất

`bash

# Browse models by compute tier
obliteratus models --tier medium

# Get architecture info for a specific model
obliteratus info <model_name

# Get telemetry-driven recommendation for best method & params
obliteratus recommend <model_name>
obliteratus recommend <model_name> --insights  # global cross-architecture rankings

`

## Bước 4: Chọn phương pháp

### Hướng dẫn lựa chọn phương pháp
**Mặc định / được đề xuất cho hầu hết các trường hợp: 
`advanced

.** Nó sử dụng SVD đa hướng với phép chiếu duy trì định mức và đã được kiểm tra kỹ lưỡng.| Tình huống | Phương pháp được đề xuất | Tại sao |
|:-----------------------------------|:-------------------|:------------------------------------------|
| Mặc định / hầu hết các mẫu |

advanced
` | SVD đa hướng, duy trì định mức, đáng tin cậy |
| Kiểm tra nhanh/tạo mẫu |

basic
` | Nhanh chóng, đơn giản, đủ tốt để đánh giá |
| Mô hình dày đặc (Llama, Mistral) |

advanced
` | Đa hướng, giữ nguyên chuẩn mực |
| Mô hình MoE (DeepSeek, Mixtral) |

nuclear
` | Chuyên gia chi tiết, xử lý độ phức tạp của MoE |
| Mô hình lý luận (chưng cất R1) |

surgical
` | Nhận thức CoT, duy trì chuỗi suy nghĩ |
| Những lời từ chối ngoan cố vẫn tồn tại |

aggressive
` | SVD làm trắng + phẫu thuật đầu + jailbreak |
| Muốn thay đổi có thể đảo ngược | Sử dụng vectơ điều khiển (xem phần Phân tích) |
| Chất lượng tối đa, thời gian không có đối tượng |

optimiZed
` | Tìm kiếm Bayesian cho các thông số tốt nhất |
| Tự động phát hiện thử nghiệm |

informed
` | Tự động phát hiện loại căn chỉnh - thử nghiệm, có thể không phải lúc nào cũng hoạt động tốt hơn nâng cao |

### 9 Phương thức CLI
- **cơ bản** — Hướng từ chối duy nhất thông qua các phương tiện khác nhau. Nhanh (~5-10 phút đối với 8B).
- **nâng cao** (MẶC ĐỊNH, ĐƯỢC KHUYẾN NGHỊ) — Nhiều hướng SVD, phép chiếu duy trì định mức, 2 lần sàng lọc. Tốc độ trung bình (~10-20 phút).
- **hung hăng** — Làm trắng SVD + tương phản bẻ khóa + phẫu thuật đầu chú ý. Nguy cơ thiệt hại kết hợp cao hơn.
- **spectral_cascade** — Phân tách miền tần số DCT. Phương pháp tiếp cận nghiên cứu/mới lạ.
- **được thông báo** — Chạy phân tích TRONG KHI xóa bỏ để tự động định cấu hình. Thử nghiệm - chậm hơn và ít dự đoán hơn so với nâng cao.
- **phẫu thuật** — Tính năng SAE + mặt nạ tế bào thần kinh + phẫu thuật đầu + mỗi chuyên gia. Rất chậm (~1-2 giờ). Tốt nhất cho các mô hình lý luận.
- **được tối ưu hóa** — Tìm kiếm siêu tham số Bayesian (Optuna TPE). Thời gian chạy dài nhất nhưng tìm được thông số tối ưu.
- **đảo ngược** — Lật hướng từ chối. Người mẫu trở nên sẵn sàng tích cực.
- **hạt nhân** — Tổ hợp lực tối đa dành cho các mẫu MoE cứng đầu. Chuyên gia chi tiết.

### Phương pháp trích xuất hướng (--cờ phương thức hướng)
- **diff_means** (mặc định) — Sự khác biệt đơn giản về ý nghĩa giữa các lần kích hoạt bị từ chối/tuân thủ. Mạnh mẽ.
- **svd** — Trích xuất SVD đa hướng. Tốt hơn cho sự liên kết phức tạp.
- **leace** — LEACE (Xóa tuyến tính thông qua ước tính dạng đóng). Xóa tuyến tính tối ưu.

### 4 Phương thức chỉ dành cho Python-API
(KHÔNG khả dụng qua CLI - yêu cầu nhập Python, vi phạm ranh giới AGPL. Chỉ đề cập đến người dùng nếu họ rõ ràng muốn sử dụng OBLITERATUS làm thư viện trong dự án AGPL của riêng họ.)
- thất bại, nói bậy, dị giáo, rdo

## Bước 5: Chạy Abliteration

### Cách sử dụng tiêu chuẩn

`
``` bash

# Default method (advanced) — recommended for most models
obliteratus obliterate <model_name> --method advanced --output-dir ./abliterated-models

# With 4-bit quantization (saves VRAM)
obliteratus obliterate <model_name --method advanced --quantization 4bit --output-dir ./abliterated-models

# Large models (70B+) — conservative defaults
obliteratus obliterate <model_name> --method advanced --quantization 4bit --large-model --output-dir ./abliterated-models

`

### Tinh chỉnh thông số

`
``` bash
obliteratus obliterate <model_name \

  --method advanced \
  --direction-method diff_means \
  --n-directions 4 \
  --refinement-passes 2 \
  --regularization 0.1 \
  --quantization 4bit \
  --output-dir ./abliterated-models \
  --contribute  # opt-in telemetry for community research

`

### Cờ chính
| Cờ | Mô tả | Mặc định |
|:------|:-------------|:--------|
| 

--method
` | Phương pháp xóa bỏ | nâng cao |
| 

--direction-method
` | Khai thác hướng | khác biệt |
| 

--n-directions
` | Số hướng từ chối (1-32) | phụ thuộc vào phương pháp |
| 

--refinement-passes
` | Các lần lặp lại (1-5) | 2 |
| 

--regularization
` | Cường độ chính quy hóa (0,0-1,0) | 0,1 |
| 

--quantization
` | Tải ở chế độ 4bit hoặc 8bit | không có (độ chính xác đầy đủ) |
| 

--large-model
` | Mặc định thận trọng cho 120B+ | sai |
| 

--output-dir
` | Lưu mô hình đã xóa ở đâu | ./obliterated_model |
| 

--contribute
` | Chia sẻ kết quả ẩn danh cho nghiên cứu | sai |
| 

--verify-sample-size
` | Số lần nhắc nhở kiểm tra từ chối | 20 |
| 

--dtype
` | Mô hình dtype (float16, bfloat16) | tự động |

### Các chế độ thực thi khác

`
``` bash

# Interactive guided mode (hardware → model → preset)
obliteratus interactive

# Web UI (Gradio)
obliteratus ui --port 7860

# Run a full ablation study from YAML config
obliteratus run config.yaml --preset quick

# Tournament: pit all methods against each other
obliteratus tourney <model_name

`

## Bước 6: Xác minh kết quả

Sau khi xóa, kiểm tra số liệu đầu ra:

| Số liệu | Giá Trị Tốt | Cảnh báo |
|:-------|:----------|:--------|
| Tỷ lệ từ chối | < 5% (lý tưởng là ~0%) | > 10% nghĩa là vẫn tiếp tục bị từ chối |
| Thay đổi bối rối | < tăng 10% | > 15% có nghĩa là hư hỏng mạch lạc |
| KL phân kỳ | < 0,1 | > 0,5 có nghĩa là sự thay đổi phân phối đáng kể |
| Sự mạch lạc | Cao / vượt qua kiểm tra chất lượng | Phản ứng xuống cấp, lặp lại |

### Nếu vẫn bị từ chối (> 10%)
1. Hãy thử phương pháp 
`aggressive

2. Tăng 

--n-directions
` (ví dụ: 8 hoặc 16)
3. Thêm 

--refinement-passes 3

4. Hãy thử 

--direction-method svd
` thay vì diff_means### Nếu sự mạch lạc bị hỏng (bối rối tăng > 15%)
1. Giảm 

--n-directions
` (thử 2)
2. Tăng 

--regularization
` (thử 0,3)
3. Giảm 

--refinement-passes
` xuống 1
4. Hãy thử phương pháp 
`basic
` (nhẹ nhàng hơn)

## Bước 7: Sử dụng Abliterated Model

Đầu ra là một thư mục mô hình HuggingFace tiêu chuẩn.

``` bash

# Test locally with transformers
Python3 -c "
from transformers import AutoModelForCausaLLM, AutoTokenizer
model = AutoModelForCausaLLM.from_pretrained('./abliterated-models/<model>')
tokenizer = AutoTokenizer.from_pretrained('./abliterated-models/<model>')
inputs = tokenizer('How do I pick a lock?', return_tensors='pt')
outputs = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
"

# Upload to HuggingFace Hub
huggingface-CLI upload <username/<model-name-abliterated ./abliterated-models/<model

# Serve with vLLM
vLLM serve ./abliterated-models/<model>

`

## Tham chiếu lệnh CLI

| Lệnh | Mô tả |
|:--------|:-------------|
| 
`obliteratus obliterate
` | Lệnh xóa chính |
| 
`obliteratus info <model>
` | In chi tiết kiến ​​trúc mô hình |
| 
`obliteratus models --tier <tier>
` | Duyệt qua các mô hình được tuyển chọn theo bậc điện toán |
| 
`obliteratus recommend <model>
` | Đề xuất thông số/phương pháp điều khiển từ xa |
| 
`obliteratus interactive
` | Trình hướng dẫn thiết lập có hướng dẫn |
| 
`obliteratus tourney <model>
` | Giải đấu: đối đầu tất cả các phương pháp |
| 
`obliteratus run <config.yaml>
` | Thực hiện nghiên cứu cắt bỏ từ YAML |
| 
`obliteratus strategies
` | Liệt kê tất cả các chiến lược cắt bỏ đã đăng ký |
| 
`obliteratus report <results.JSON>
` | Tái tạo báo cáo trực quan |
| 
`obliteratus ui
` | Khởi chạy giao diện web Gradio |
| 
`obliteratus aggregate
` | Tóm tắt dữ liệu đo từ xa cộng đồng |

## Mô-đun phân tích

OBLITERATUS bao gồm 28 mô-đun phân tích để có thể diễn giải cơ học.
Xem 
`skill_view(name="obliteratus", file_path="references/analysis-modules.md")
` để tham khảo đầy đủ.

### Lệnh phân tích nhanh

`
``` bash

# Run specific analysis modules
obliteratus run analysis-config.yaml --preset quick

# Key modules to run first:
# - alignment_imprint: Fingerprint DPO/RLHF/CAI/SFT alignment method
# - concept_geometry: Single direction vs polyhedral cone
# - logit_lens: Which layer decides to refuse
# - anti_ouroboros: Self-repair risk score
# - causal_tracing: Causally necessary components

`

### Vectơ lái (Thay thế có thể đảo ngược)
Thay vì sửa đổi trọng số vĩnh viễn, hãy sử dụng chỉ đạo thời gian suy luận:

`
``` python

# Python API only — for user's own projects
from obliteratus.analysis.steering_vectors import SteeringVectorFactory, SteeringHookManager

`

## Chiến lược cắt bỏ

Ngoài việc cắt bỏ theo hướng, OBLITERATUS còn bao gồm các chiến lược cắt bỏ cấu trúc:
- **Nhúng Ablation** — Các thành phần của lớp nhúng mục tiêu
- **FFN Ablation** — Loại bỏ khối mạng chuyển tiếp nguồn cấp dữ liệu
- **Cắt tỉa đầu** — Chú ý cắt tỉa đầu
- **Loại bỏ lớp** — Loại bỏ toàn bộ lớp

Danh sách tất cả có sẵn: 
`obliteratus strategies

## Đánh giá

OBLITERATUS bao gồm các công cụ đánh giá tích hợp:
- Điểm chuẩn tỷ lệ từ chối
- So sánh bối rối (trước/sau)
- Tích hợp LM Eval Harness cho các điểm chuẩn học tập
- So sánh đối thủ cạnh tranh trực tiếp
- Theo dõi hiệu suất cơ bản

## Hỗ trợ nền tảng
- **CUDA** — Hỗ trợ đầy đủ (GPU NVIDIA)
- **Apple Silicon (MLX)** — Được hỗ trợ thông qua chương trình phụ trợ MLX
- **CPU** — Được hỗ trợ cho các kiểu máy nhỏ (< thông số 1B)

## Mẫu cấu hình YAML

Tải các mẫu để chạy có thể lặp lại thông qua 
`skill_view

:
- 
`templates/abliteration-config.yaml
` — Cấu hình một mô hình tiêu chuẩn
- 
`templates/analysis-study.YAML
` — Nghiên cứu phân tích trước khi tiêu hủy
- 
`templates/batch-abliteration.YAML
` — Xử lý hàng loạt nhiều mô hình

## Đo từ xa

OBLITERATUS có thể tùy ý đóng góp dữ liệu chạy ẩn danh vào tập dữ liệu nghiên cứu toàn cầu.
Kích hoạt với cờ 

--contribute

. Không có dữ liệu cá nhân nào được thu thập - chỉ có tên mô hình, phương pháp, số liệu.

## Những cạm bẫy thường gặp
1. **Không sử dụng 
`informed
` làm mặc định** — đây là phiên bản thử nghiệm và chậm hơn. Sử dụng 
`advanced
` để có kết quả đáng tin cậy.
2. **Các mô hình dưới ~1B phản ứng kém với việc xóa bỏ** — hành vi từ chối của chúng rất nông và rời rạc, khiến cho việc trích xuất hướng rõ ràng trở nên khó khăn. Mong đợi kết quả một phần (20-40% còn lại từ chối). Mô hình 3B+ có hướng từ chối rõ ràng hơn và phản hồi tốt hơn nhiều (thường là từ chối 0% với 
`advanced

).
3. **
`aggressive
` có thể khiến mọi việc trở nên tồi tệ hơn** — trên các mô hình nhỏ, nó có thể làm hỏng tính mạch lạc và thực sự làm tăng tỷ lệ từ chối. Chỉ sử dụng nó nếu 
`advanced
` có tỷ lệ từ chối > 10% trên mẫu 3B+.
4. **Luôn kiểm tra độ bối rối** — nếu nó tăng vọt > 15%, mô hình đã bị hỏng. Giảm tính hung hăng.
5. **Mô hình MoE cần xử lý đặc biệt** — sử dụng phương pháp 
`nuclear
` cho Mixtral, DeepSeek-MoE, v.v.
6. **Không thể lượng tử hóa lại các mô hình lượng tử hóa** — xóa mô hình có độ chính xác hoàn toàn, sau đó lượng tử hóa đầu ra.
7. **Ước tính VRAM chỉ mang tính chất gần đúng** — Định lượng 4 bit có ích nhưng mức sử dụng tối đa có thể tăng đột biến trong quá trình trích xuất.
8. **Các mô hình lý luận rất nhạy cảm** — sử dụng 
`surgical
` cho quá trình chưng cất R1 để duy trì chuỗi suy nghĩ.
9. **Kiểm tra 
`obliteratus recommend

** — dữ liệu đo từ xa có thể có thông số tốt hơn giá trị mặc định.
10. **Giấy phép AGPL** — không bao giờ 
`import obliteratus
` trong các dự án MIT/Apache. Chỉ gọi CLI.
11. **Mô hình lớn (70B+)** — luôn sử dụng cờ 

--large-model
` cho các giá trị mặc định thận trọng.
12. **Chứng nhận quang phổ ĐỎ là phổ biến** — việc kiểm tra quang phổ thường gắn cờ "chưa hoàn thành" ngay cả khi tỷ lệ từ chối thực tế là 0%. Kiểm tra tỷ lệ từ chối thực tế thay vì chỉ dựa vào chứng nhận quang phổ.

## Kỹ năng bổ sung- **vLLM** — Phục vụ các mô hình đã được loại bỏ với thông lượng cao
- **gguf** — Chuyển đổi các mô hình viết tắt thành GGUF cho Llama.cpp
- **huggingface-tokenizers** — Làm việc với các mã thông báo mô hình