Ringkasan Singkat
Video ini memberikan ringkasan tingkat tinggi dari bidang AI Engineering berdasarkan buku "AI Engineering" oleh Chip Nguyen. Ini mencakup topik-topik utama seperti model fondasi, rekayasa prompt, RAG, fine-tuning, agen, membangun sistem, dan meningkatkan inferensi. Perbedaan antara AI Engineering dan machine learning tradisional juga dibahas, serta bagaimana model fondasi dilatih dan digunakan dalam berbagai aplikasi.
- AI Engineering berfokus pada pembangunan aplikasi di atas model fondasi yang sudah ada.
- Model fondasi dilatih menggunakan self-supervision dan dapat menangani berbagai jenis data.
- Post-training melibatkan supervised fine-tuning dan preference fine-tuning untuk meningkatkan kualitas dan keselarasan model.
Apa itu AI Engineering?
AI Engineering berkembang pesat karena model AI semakin baik dalam memecahkan masalah nyata dan hambatan untuk membangun dengan model tersebut semakin rendah. AI Engineering berfokus pada pembangunan aplikasi di atas model fondasi, yang dilatih oleh perusahaan seperti OpenAI atau Google. Tidak seperti machine learning tradisional, AI Engineering lebih menekankan pada adaptasi model yang ada daripada membangun model dari awal. Model fondasi bekerja melalui self-supervision, yang memungkinkan mereka belajar dari data tanpa label manusia. Model-model ini telah berkembang menjadi large language models (LLM) dan large multimodal models, yang mendukung berbagai aplikasi seperti coding assistant, alat pembuatan gambar, dan bot dukungan pelanggan.
Memahami Model Fondasi
Model fondasi hanya mengetahui apa yang telah dilatihkan kepada mereka. Sebagian besar model dilatih pada data web-crawled, yang dapat mengandung clickbait, misinformasi, dan konten beracun. Untuk mengatasi masalah ini, digunakan teknik penyaringan. Distribusi bahasa dalam data pelatihan juga cenderung condong ke bahasa Inggris. Arsitektur model fondasi sebagian besar menggunakan transformer berdasarkan mekanisme perhatian (attention mechanism). Transformer memecahkan masalah model sequence-to-sequence dengan memungkinkan model untuk menimbang pentingnya token input yang berbeda saat menghasilkan setiap token output. Selama inferensi, transformer bekerja dalam dua langkah: pre-fill dan decode. Mekanisme perhatian menggunakan query vectors, key vectors, dan value vectors untuk menentukan seberapa besar perhatian yang harus diberikan pada setiap token input. Model yang lebih besar dengan lebih banyak parameter memiliki kapasitas yang lebih besar untuk belajar dan berkinerja lebih baik. Chinchilla Scaling Law membantu menghitung ukuran model dan ukuran data yang optimal untuk anggaran komputasi tertentu.
Mengevaluasi Model AI
Bagian ini tidak ada dalam transkrip.
Pemilihan Model
Bagian ini tidak ada dalam transkrip.
Rekayasa Prompt
Bagian ini tidak ada dalam transkrip.
RAG dan Konstruksi Konteks
Bagian ini tidak ada dalam transkrip.
Agen dan Sistem Memori
Bagian ini tidak ada dalam transkrip.
Finetuning
Model fondasi yang telah dilatih sebelumnya menghadapi dua masalah utama: mereka dioptimalkan untuk penyelesaian teks, bukan percakapan, dan output mereka bisa salah secara faktual atau bermasalah secara etis. Post-training bertujuan untuk mengatasi masalah ini melalui dua langkah utama: supervised fine-tuning dan preference fine-tuning. Supervised fine-tuning mengoptimalkan model untuk percakapan. Preference fine-tuning menyelaraskan model dengan nilai-nilai manusia menggunakan reinforcement learning from human feedback (RLHF). Metode yang lebih baru seperti direct preference optimization (DPO) juga semakin populer. Beberapa perusahaan bahkan melewati langkah reinforcement learning dan memilih output dengan skor model reward yang tinggi, sebuah strategi yang disebut best of n. Model fondasi menghasilkan probabilitas untuk kemungkinan output, dan cara kita mengambil sampel dari probabilitas ini memengaruhi respons model. Teknik pengambilan sampel termasuk greedy sampling, temperature sampling, top K sampling, dan top P sampling. Sifat probabilistik ini menjelaskan banyak perilaku dalam model fondasi, seperti inkonsistensi dengan perubahan input kecil dan halusinasi.
Dataset Engineering
Bagian ini tidak ada dalam transkrip.
Optimasi Inferensi
Bagian ini tidak ada dalam transkrip.
Arsitektur dan Umpan Balik Pengguna
Bagian ini tidak ada dalam transkrip.
