Cẩm nang về LLMs dành cho những người không muốn tối cổ về AI | Minh Triết

0:00 LGE Language Model hiện đang là một trong những mô hình phổ biến nhất của trí tuệ nhân tạo. Kể từ sau tháng 11 năm 2022 khi Open AI giới thiệu Chat GPT, LLM đã xâm chiếm thế giới như một cơn bão. Chat GPT đạt 100 triệu người dùng chỉ trong 2 tháng. Để so sánh, TikTok đạt con số này trong 9 tháng và Facebook thì trong vòng 4 năm rưỡi. Phổ biến là vậy, nhưng không nhiều người biết được cơ chế hoạt động đằng sau LLM như thế nào. Khi tìm kiếm trên Google từ khóa Lodge Language Model và mô hình ngôn ngữ lớn, tác giả Minh Triết tại Spyroom nhận thấy ba vấn đề sau đây. Các bài báo khoa học có quá nhiều từ ngữ chuyên ngành với ký hiệu toán học đọc không ai hiểu. Nhiều bài viết chỉ chạm được một phần rất nông của vấn đề dạng như 10 prom để nâng hiệu suất công việc. Siêu hiếm bài viết tiếng Việt giải thích

0:46 cặn kẽ cơ chế của LM. Thế nên bài viết gốc mình đã dành 1860 phút để tìm hiểu về Language models như chat GPT được Spyroom chúng mình chuyển thể sẽ giải thích chi tiết về LM từ cơ chế hoạt động các bước tạo ra một LM cho đến những cách ta có thể cập nhật các thông tin mới nhất về LM dành cho các khán giả đại chúng. Ngoài ra, tác giả Minh Triết cũng rút ra những bài học từ quá trình học máy của LMS để chúng ta có thể áp dụng cho sự học của bản thân. Khi chúng ta hiểu được gốc dễ của một công cụ, ta sẽ biết cách dùng cũng như có góc nhìn trực quan hơn về nó thay vì chỉ học theo các thao tác bề mặt. Không rông dài nữa, hãy cùng SOM bắt đầu video ngay sau [âm nhạc]

1:33 đây. Về large language models, thực ra large language models viết tắt là LMS không chỉ nhắc đến những models có khả năng tạo ra từ ngữ và giao tiếp như chat GPT. Theo quyển sách Hands on large language model, LLM có thể chia ra làm hai loại chính. Loại thứ nhất là generative model. Đây là những model có khả năng tạo ra sản phẩm đầu da như văn bản, hình ảnh, âm thanh. Loại thứ hai là Representation Model. Đây là những model tiếp nhận thông tin và giải mã chúng được dùng trong các tác vụ như phân loại, classification, thấu hiểu quan điểm, sentiment analysis hay là tìm kiếm thông tin information retrieval. Trong bài viết này, các bạn có thể tạm hiểu LMS như generative model.

2:18 Về căn bản, Large Language Model New như chat GPT là một thuật toán đã huấn luyện để dự đoán từ tiếp theo có thể xuất hiện trong một câu dựa trên dữ liệu từ hàng trăm triệu tài liệu trên internet, sách, bài báo vân vân. Chữ Lodge ở đây chỉ đơn giản là những model này có kích thước rất lớn về cả những cấu phần bên trong lẫn lượng dữ liệu mà chúng được tiếp xúc trong quá trình huấn luyện. Thế nếu như chỉ dự đoán từ tiếp theo thôi thì tại sao LMS lại có khả năng kỳ diệu như vậy? Thực ra dự đoán từ tiếp theo là một tác vụ giúp LMS tăng khả năng đa nhiệm của mình một cách đáng kể. Chỉ qua việc dự đoán từ tiếp theo, nó có thể học được nhiều tác vụ khác như dịch thuật, ngữ pháp hoặc giải toán như hiển thị dưới [âm nhạc] đây. Ngoài những tác vụ này, LMS có thể

3:06 thực hiện ti tỷ tác vụ khác. Một số ví dụ có thể được thấy ở hình ảnh đang hiển thị trên màn hình của các bạn. Hơn nữa, có điều này mình muốn làm rõ. Bản thân LOLM không phải là một thực thể biết tư duy giống con người, ít nhất chưa phải ở thời điểm hiện tại. Nó chỉ dựa vào các thông số toán học đã được tạo nên từ khoảng hàng tỷ lần học để sao chép những suy nghĩ của con người. Thế nên bạn sẽ thấy thua sơ khai char GPT rất tệ với những tác vụ như tính toán, tạo hình, đếm số. Thậm chí khoảng độ 1 năm trước, Chat GPT còn không thể đếm được số lượng chữ R trong Strawberry. Nó liên tục khẳng định là Strawberry có hai chữ R. Đó là bởi tự bản thân nó không thể đếm số mà nó chỉ đơn thuần đoán một cách mù quáng. Ngoài ra, LM như chat GPT sẽ không có

3:52 những kiến thức liên quan đến mặt giác quan như con người. Chúng sẽ không thể hiểu được ý nghĩa thực sự của những câu mình nói mà chỉ đơn giản là dựa vào câu lệnh của ta để dự đoán những từ tiếp theo. Thế nên nếu bạn có nhắn với LM để được an ủi sau khi thất tình, nếu nó có viết tôi hiểu thì bạn cứ nhớ là nó chẳng hiểu gì đâu. Nó chỉ đoán những từ phù hợp để an ủi trong hoàn cảnh đó mà thôi. Bây giờ mình sẽ đào sâu hơn vào quá trình những LMs như Chat GPT được tạo ra để bạn có một cái nhìn tổng quan hơn về công cụ mình đang dùng. Lưu ý rằng bài viết đã tóm lược đi một số chi tiết liên quan đến mặt kỹ thuật để cung cấp góc nhìn tổng quan cho đại [âm nhạc] chúng. Quá trình huấn luyện LMS: Preining. Chuẩn bị dữ liệu huấn luyện.

4:38 Để bắt đầu quá trình huấn luyện cho LMS, ta cần một lượng lớn dữ liệu để chúng có thể học. Với những model thu sơ khai như GPT 3.5, Lama 2 vân vân, dữ liệu này sẽ hoàn toàn dưới dạng text. Nhưng đối với các model thế hệ sau như GPT 4o, dữ liệu này có thể bao gồm cả hình ảnh và âm thanh. Dữ liệu mà ta thu thập sẽ phải cực lớn bởi Large Language Models cần rất nhiều ví dụ để có thể học. Lượng data này có thể được ví như một internet thu nhỏ. Các công ty thường không chia sẻ toàn bộ tệp dữ liệu họ sử dụng để huấn luyện model của mình. Tuy nhiên, để hiểu được độ lớn của bộ dữ liệu dùng để huấn luyện LMS, bạn có thể tham khảo Fineweb. Bộ dữ liệu mô phỏng được tạo bởi Hugging Face, một nền tảng nổi tiếng trong cộng đồng machine learning. Dataset này bao gồm 15.000 tỷ token, nặng khoảng 44 TB.

5:24 Nguồn dữ liệu của Fineweb được lấy chủ yếu to Common Craw, một tổ chức chuyên thu thập dữ liệu từ các nguồn miễn phí trên Internet và chia sẻ chúng miễn phí cho tổ chức khác. Sau khi lấy dữ liệu từ Common Crow, Hacking Face sẽ dùng công cụ để lọc bớt những dữ liệu kém chất lượng, loại bỏ các trang spam có chất lượng thấp và loại đi những nội dung lặp lại cùng với rất nhiều bước tinh chỉnh khác. Sau 7749 bước như vậy, họ mới hoàn thiện được một dataset hoàn chỉnh để sử dụng cho việc huấn luyện LMs. Ta chỉ mới dừng ở bước thu thập dữ liệu thôi, nhưng các bạn có thể thấy cần rất nhiều công sức để thu thập và nhiều cơ sở hạ tầng để xử lý dữ liệu nên thường các công ty sẽ không làm bước này nhiều. Đó là lý do nếu bạn hỏi GPT4O về kiến thức của nó dừng lại tại thời điểm nào. Nó sẽ trả lời là tháng 6 năm 2024. Điều

6:09 này chứng tỏ quá trình pretraining của nó đã xảy ra hơn nửa năm về trước. Hơn nữa, một điều quan trọng cần phải lưu tâm trong quá trình pretraining là chất lượng của dữ liệu. Bởi vì các mô hình ngôn ngữ sẽ bắt trước những gì nó xem được trong giai đoạn huấn luyện. Bạn cần đảm bảo nó xem được càng ít nội dung giác càng tốt. Nếu bạn huấn luyện models bằng comments trên TikTok và thread thì bạn hiểu hệ quả rồi đấy. Tokenization. Lodge language models không có khả năng tiếp thu câu chữ giống như chúng ta mà chúng sẽ phải chia nhỏ câu lệnh của chúng ta thành những token hay những từ, cụm từ hoặc ký tự thường xuất hiện trong một ngôn ngữ. Ví dụ câu tôi là chiết sẽ được chê nhỏ như dưới đây. Sau đó thông qua quá trình embeding, những token sẽ được chuyển hóa

6:56 thành các vecor, những dãy số biểu trưng cho token. Bạn cứ tưởng tượng chúng là những mã định danh để chương trình học máy có thể nhận ra những token mình đang xử lý. Bởi các chương trình máy tính chỉ làm việc với số thôi chứ không làm việc với con chữ. Bạn có thể hiểu rằng khi mình gõ tôi là chiết, nó sẽ không nhìn thấy những gì mình nhìn thấy mà nó nhìn thấy các dãy số biểu trưng cho các token. Để có thêm cái nhìn trực quan về quá trình tokenization, bạn có thể truy cập Tiktokanizer và chọn GPT 4O để xem chat GPT thực sự thấy các câu lệnh của bạn như thế nào. Trong quá trình huấn luyện, LM sẽ được học những token nào thường đi với nhau, từ đó đưa ra kết quả có xác suất hợp lý nhất. Neural Network Training. Có thể nói

7:41 neural network hay cụ thể hơn là Transformer là cấu trúc đứng sau hầu hết các LMS sản xuất sau năm 2017 khi bài báo quan trọng từ Google Attention is all you need ra đời. Neuron Network là một thuật toán học máy. Machine learning được truyền cảm hứng từ cấu trúc não bộ của con người. Mỗi neuro network thường sẽ có một lớp đầu vào input layer để nhận thông tin. Một hoặc nhiều lớp xử lý thông tin ở giữa, hidden layers để xử lý thông tin và lớp đầu ra output layer để trả dự đoán cuối cùng. Sau khi dữ liệu huấn luyện đã được token hóa thành những con số, chúng sẽ được chuyển vào Neuron Network nơi mô hình LOMS bắt đầu quá trình học của mình. Đây là quá trình self supervised, tức là model sẽ tự giám sát chính mình. Nhìn chung, quá trình học sẽ diễn ra như

8:27 sau. Đầu tiên từ dữ liệu ở quá trình pretraining, LMS sẽ có khoảng hàng nghìn tỷ câu ví dụ để học. Ở mỗi ví dụ, chúng sẽ che đi token trong một câu có sẵn và tự đưa ra dự đoán cho token nào sẽ xuất hiện tiếp theo trong câu. Sau đó, chúng sẽ kiểm tra về đáp án có sẵn và tự cập nhật Wite. Đây là trọng số, đại khái là con số biểu thị độ quan trọng của các token trong bối cảnh mà nó đang dự đoán của mình, sao cho lần tiếp theo chúng sẽ đưa ra dự đoán có khả năng chính xác cao nhất. Chúng cứ liên tục làm như vậy khoảng vài tỷ ví dụ và kết quả là những mô hình có khả năng kỳ diệu mà chúng ta đang sử dụng. Tạo ra base models, mô hình gốc. Sau quá trình huấn luyện Neural Network, một mô hình với trọng số hoàn chỉnh có

9:13 thể dự đoán từ tiếp theo với độ chính xác cao được ra đời. Mô hình này có tên gọi tiếng Anh là Base LLMs hoặc bạn cũng có thể gọi nó là Foundation LLMs hay pretrained LLMs. Tuy nhiên đến đây model này vẫn chưa hoàn toàn hữu dụng với các tác vụ hàng ngày. Bởi lại base model mới chỉ có khả năng dự đoán từ tiếp theo chứ chưa có khả năng nghe theo hướng dẫn từ người dùng. Bởi mô hình gốc không có tính ứng dụng cao nên không nhiều công ty phát hành chúng. Có một số base models đã được phát hành, nổi bật nhất có lẽ là họ nhà Lama của Meta bao gồm Lama 1 2 3. Để thử nghiệm một model gốc, bạn có thể thử truy cập Hyperbolic hoặc Open Router và chọn models có chữ base bên cạnh. Ví dụ khi mình promp 2+ 2 bằng hỏi chấm trên Open Router Playground sử dụng

9:58 dipick V3 Base, nó cho ra nguyên một đống ký tự kỳ lạ mà mình không hiểu gì. Và nếu mình không dừng lại thì nó chắc sẽ tiếp tục tạo ra một đống ký tự. Cho đến khi đầy conx Windows, giới hạn ký tự bạn được giao tiếp với model bởi nó chỉ đáng đơn thuần dự đoán từ chứ chưa theo được hướng dẫn gì cả. Có ý kiến từ chuyên gia AI mình khá tin tưởng là Andre Kapat, cựu Director of AI tại Tesla cho rằng base models thực ra rất mạnh và sáng tạo hơn so với Instruct Models bởi chúng chưa bị giới hạn bởi bất kỳ tinh chỉnh nào. Các bạn có thể bắt đầu thử tận dụng Base Model từ bây giờ, sử dụng FHO prompting, đưa ra ví dụ về kết quả bạn muốn đạt được trong câu lệnh của mình để đạt được kết quả tốt nhất. Để chúng thực sự trở nên hữu dụng, ta thường phải đi tới bước tiếp theo đó là Supervised F tuning, tinh chỉnh có giám

10:45 sát và điều đó dẫn chúng ta tới nội dung tiếp theo sau đây. Supervised Fine Tuning SFT. Sau khi đã có base model với một lượng lớn kiến thức, ta sẽ đến giai đoạn tinh chỉnh để nó có thể vận dụng kiến thức của mình và một tác vụ cụ thể. Trong trường hợp của các models như chat GPT là để trả lời câu hỏi từ người dùng. Đến lúc này, các công ty như Open AI sẽ bắt đầu tạo ra một label data gồm câu hỏi có thể gặp và câu trả lời khả dĩ được viết bởi những người thực sự có kiến thức trong lĩnh vực của mình. Model sẽ dần học được xu hướng mà các chuyên gia trả lời các câu hỏi, từ đó bắt trước cho những câu trả lời sau này của mình. Thế nên mình muốn nhấn mạnh lại rằng thực chất cho đến thời điểm hiện tại, LM vẫn chưa có khả năng tự suy nghĩ khi bạn hỏi nó một câu hỏi. Ví dụ như ý nghĩa tồn tại của con người là gì? Câu

11:33 trả lời của nó sẽ không phải đến từ cảm nhận của chính nó mà là đại diện cho xác suất. Nó mô phỏng câu trả lời đến từ những chuyên gia viết câu trả lời mẫu từ các công ty cộng với kiến thức mà nó có được từ quá trình pretraining. Trong bài báo về quá trình huấn luyện GPT3, Open AI tiết lộ rằng họ thuê khoảng 40 người và viết tổng cộng 13.000 promps cho quá trình SFT. Tất cả những người họ thuê đều là những người có học thức cao để đảm bảo chất lượng cho dữ liệu huấn luyện. Theo Open AI, 90% người viết câu trả lời mẫu có bằng tốt nghiệp cử nhân và hơn 1/3 có bằng thạc sĩ. Trên hình là một ví dụ từ quá trình huấn luyện của Open AI, trong đó Labeler sẽ viết ra một câu lệnh và tự trả lời nó. Trong ảnh Open AI so sánh ba câu trả lời của Label, của

12:18 GPT3175B base model và của Instruct GPT175B model sau khi đã trải qua SFT. Trong quá trình này, Open AI sẽ đảm bảo các câu lệnh và câu trả lời của human labelers đạt được ba tiêu chí đó là have hữu ích, harmless vô hại và honest thành thật. Họ hy vọng rằng model sẽ học được ba đức tính này từ các ví dụ chủng bắt trước. Ngoài ra, trong bài báo vào năm 2022 của mình, Open AI đã chỉ ra rằng bởi đa số người họ thuê để viết câu trả lời mẫu sử dụng tiếng Anh là ngôn ngữ chính nên nhiều câu trả lời mà mô hình bắt trước cũng sẽ bằng tiếng Anh hoặc nếu không thì logic cũng giống như tiếng Anh. Đây là lý do ta thấy được trong khoảng thời gian đầu khả năng sử dụng các tiếng khác ngoài tiếng Anh của LMS

13:04 rất tệ. Cho đến bây giờ khả năng của nó đã được cải thiện hơn rất nhiều. Tuy nhiên, thi thoảng mình nhắn tin với nó bằng tiếng Việt, nó vẫn chèn tiếng Anh vào những chỗ nó bí. Vậy là sau bước này ta đã biến được LMS từ một model chỉ biết dự đoán từ tiếp theo thành một model hữu dụng cho các tác vụ của con người. Reinforcement learning RL. Sau khi đã có base models và trải qua bước SFT, thường các AI LAABS sẽ dùng reinforcement learning để tăng khả năng lý luận và tạo ra kết quả đầu ra chất lượng cho LMs. Reinforcement learning là một dạng học máy, trong đó người ta huấn luyện một mô hình bằng cách cho chúng học từ tín hiệu thưởng phạt của môi trường, từ đó tự tìm ra phương pháp hữu hiệu nhất. Tức là sau mỗi lần huấn luyện, chúng ta chỉ cần tìm cách cho models biết chúng

13:51 đang làm đúng hoặc làm sai, còn lại chúng sẽ tự tìm cách để cải thiện chất lượng của mình. Theo hiểu biết của mình, reinforcement learning là phương pháp học máy đứng sau rất nhiều sự tiến bộ vượt bậc của các mô hình AI hiện tại. Ví dụ điển hình là những mô hình tư duy trong LM. Sở dĩ Alpha Go được phát triển bởi Google Deep Mind gây được tiếng vang là bởi nó đã học được cách làm chủ CV, một trò chơi nổi tiếng với độ khó cực cao bởi có xấp xỉ 10 mũ 117 cách xếp bán cơ khác nhau, nhiều hơn cả số nguyên tử tồn tại trong vũ trụ. Cách học của Alpha Go chỉ đơn giản là tự chơi với chính bản thân trong khoảng vài nghìn lần. Và sau mỗi lần chơi nó sẽ rút ra bài học từ lỗi sai của mình. Kết quả là Alphago đã giành chiến thắng 4-1 trước Lenon, kỳ thủ cơ vây giỏi nhất thế giới thời điểm đó. Điều

14:36 thú vị là trong vn đấu với Ledon ở bước 37, Alpha đã đi một nước cờ mà tất cả các chuyên gia trên thế giới đều cho là ngu ngốc. Chỉ có 1/1.000 nghìn khả năng một con người sẽ đi nước đó. Nhưng thực ra đó lại là một nước đi thiên tài. Điều này cho thấy tiềm năng của RL trong việc phát hiện ra những vùng tư duy mà con người với hiểu biết hạn hẹp của mình chưa thể chạm tới được. Háo hức thật đúng không? Tuy nhiên, ứng dụng RL trong Lodge Language Models vẫn còn gặp rất nhiều trở ngại. Một phần là bởi đối với những trò chơi như cờ vây, tín hiệu từ môi trường khá rõ ràng. Ta có thể biết rằng mình thắng hay thua qua các nước đi. Thế nhưng với mô hình ngôn ngữ lớn, làm thế nào để ta biết được mình đã làm tốt hay chưa tốt? Với những tác vụ có đáp án chính xác như giải toán thì còn khả thi. Nhưng giả sử với các tác vụ như

15:23 viết một câu đùa, định nghĩa của mỗi người với câu đùa tốt hay câu đùa tệ là khác nhau thì làm thế nào để ta đưa ra tín hiệu cho mô hình? Một phương pháp IL thông dụng trong huấn luyện LM đó chính là học từ phản hồi của con người. Reinforcement learning from Human Feedback hay viết tắt là RLHF. RLHF. Như mình đã nói ở trên, để áp dụng RL trong huấn luyện LMS, ta cần một cách để cho model biết nó đang làm tốt hay làm tệ. Điều hiển nhiên ta có thể nghĩ tới là chúng ta con người đánh giá kết quả đầu ra của nó. Điều này nghe thì dễ trên lý thuyết nhưng trên thực tế lại khó thực hiện. Đơn giản là bởi LMS cần hàng trăm nghìn ví dụ để học. Chả lẽ chúng ta lại phải ngồi đọc và đánh giá thủ công từng ví dụ. Như thế thì chắc 10 năm mới phát

16:08 triển được một mô hình mới. Thế nên giải pháp được các chuyên gia đưa ra là phát triển một reward model, một mô hình riêng biệt mô phỏng cách đánh giá của con người và để reward model hay RM đảm nhận nhiệm vụ huấn luyện RMS. Nhìn chung, người ta sẽ huấn luyện RMệnh có sẵn. Sau khi RMS tạo ra một số lượng câu hỏi nhất định, những người được thuê để huấn luyện models sẽ xếp hạng các câu trả lời từ đó cao nhất đến thấp nhất. Từ cách mà con người xếp hạng, RM sẽ dần học được những câu trả lời nào sẽ là những câu trả lời con người yêu thích. Sau khi đã có một reward model, bây giờ chúng ta sẽ đến công đoạn huấn luyện học cách tối ưu hóa điểm số của RMa trên reinforcement learning. Trong giai đoạn này, phần lớn

16:54 công ty sẽ sử dụng một phương pháp gọi là Proximal Policy Optimization được phát triển bởi Open AI. Nhìn chung, phương pháp PPO này có nhiệm vụ đảm bảo cho model học từ, không cần phải nhảy một cách nhanh chóng. PPO cũng đảm bảo rằng model sau khi được huấn luyện sử dụng RLOHF sẽ không quá khác biệt so với phiên bản sau SFT. Dưới đây là một biểu đồ tổng kết quá trình ROHF của Open AI. Lưu ý rằng quy trình này đã xuất hiện từ năm 2022 rồi, bây giờ có khả năng đã có một chút sự thay đổi. Nhưng mình tin là về căn bản các bước chính vẫn sẽ giữ nguyên. Reasoning Models nhắc đến reinforcement learning trong LFMs, ta không thể không nhắc đến

17:40 reasoning models nhưng mô hình có khả năng lý luận cao. Đây là chủ đề rất nổi trong thời gian gần đây với những cái tên nổi bật như Open AI O3, O4 Mini, Gemini 2.5 Pro và Deeps R1. Are chính là kỹ thuật chính đã làm gia tăng chất lượng của những reasoning models thời gian gần đây. Kỹ thuật ORL sử dụng để phát triển các reasoning models khá khác so với quy trình HF mình nhắc ở trên. Nhưng mình xin phép không bàn chi tiết trong bài viết này để tránh làm ngợp độc giả về các chi tiết kỹ thuật. Đến đây mong bạn đọc nhớ rằng khi dùng LMS đừng chỉ nhắc đến những tên của dòng sản phẩm nói chung như Chat JPT, Gemini, Cloud, Deeps mà hãy chú ý chính xác mình đang dùng model nào. Mỗi model sẽ có những chức năng và khả năng khác nhau. Vậy reasoning ở đây có nghĩa là

18:27 gì? Mình xin tạm dịch từ định nghĩa của Sebastian Raska, một nhà nghiên cứu AI và Lams nổi tiếng. Lý luận trong bối cảnh của Lams, ám chỉ khả năng tạo ra những bước suy nghĩ trung gian. trước khi đưa ra câu trả lời cuối cùng. Quá trình này thường được gọi là channel of for reasoning, tư duy từng bước. Trong Chain of Forasoning, LMS tự tạo ra một chuỗi những tính toán logic để giải thích tại sao nó lại đưa ra kết quả cuối cùng. Khi models tạo ra những bước trung gian như thế để suy nghĩ, chúng có thể bẻ nhỏ những vấn đề phức tạp xuống thành những tác vụ đơn giản hơn, từ đó nâng cao độ chính xác và chất lượng của câu trả lời. Như các bạn có thể thấy trong hình dưới, mình nhờ chat GPT O4 mini kiểm tra xem những gì mình viết có đúng không và ở dưới nó đưa ra những bước nó sẽ làm để thực hiện yêu cầu của

19:14 mình. Hiện tại các reasoning models đang gây chấn động cho cả thế giới bởi chúng có thể thực hiện các yêu cầu có độ phức tạp cao hay viết code tốt và chính xác hơn gấp nhiều lần. So với model thông thường, có thể nói đã trở thành một xu hướng phát triển mới trong cuộc đua vềs. Ngoài ra, một xu hướng khác mình thấy được đó là phát triển với mức giá rẻ hơn nhưng độ hiệu quả vẫn cao. Một ví dụ điển hình là Deeps R1, một model đến từ Trung Quốc đã làm chấn động cả thế giới đầu năm nay. Tips 1 có khả năng tương đương với nhiều models của các công ty lớn khác trên thị trường như Open AI, Cloud. Đặc biệt là ở các tác vụ như toán và lập trình, chúng còn vượt model tương đương như Open AI O1. Điểm đặc biệt nhất là dips đạt được khả năng đó với mức giá rẻ hơn Open AI khoảng

20:00 96%. Ngoài lên một chút, một xu hướng mới nữa trong ngành đó là làm ra những benchmark, bộ câu hỏi bằng chữ hoặc hình ảnh để kiểm tra khả năng của các model. Hiện nay, với sự phát triển vũ bão của model, các benchmark ngày càng không có đủ khả năng để đo lường sự phát triển của chúng. Thậm chí với một trong những benchmark khó nhất ở thời điểm hiện tại, Graduate Level Google Proof Q&A, tốc độ bão hòa diễn ra chỉ trong hơn 1 năm. Khi bộ câu hỏi trắc nghiệm này vừa mới ra, GPT4O chỉ trả lời đúng được 36% tức là xấp xỉ mức ngẫu nhiên. Nhưng chỉ sau khoảng 1 năm, GPT1 đã đạt được 78% độ chính xác, ngang ngửa những chuyên gia hàng đầu thời điểm hiện tại bởi độ chính xác của các chuyên gia rơi vào từ 65 đến 80%. 3 tháng sau đó, Oba ra đời và đạt

20:46 được kết quả là 83,3% vượt mức một chuyên gia có thể làm được. Phải biết rằng làm một bộ benchmark tốt là điều không hề đơn giản. Để tạo ra chúng, những nhà nghiên cứu từ Đại học New York đã phải kết hợp với Coar và Anthropic để thuê hơn 61 tiến sĩ từ nhiều lĩnh vực khác nhau, làm ra tổng cộng 200 câu hỏi trắc nghiệm và mỗi người được trả 600 đô chỉ cho một câu [âm nhạc] hỏi. Vậy khi nào chúng ta nên dùng Reasoning Models? Mặc dù khả năng của Reasoning Models là rất tuyệt diệu, ta không nên dùng nó trong tất cả tác vụ hàng ngày. Nếu bạn chỉ đơn giản là muốn tổng kết tài liệu, dịch văn bản hay hỏi những câu hỏi thuần liên quan đến kiến thức, bạn không nên dùng reasoning models vừa tốn thời gian mà đôi khi còn dễ sai hơn vì model overing. Trên thực tế, mình không dùng

21:33 reasoning models nhiều lắm vì tác vụ thường ngày của mình không đòi hỏi những bước tư duy quá phức tạp. 80% thời gian mình sẽ sử dụng GPT 4O và Cloud 3.7 ST. Một trong những lần hiếm hoi mình sử dụng Reasoning Model và cảm thấy tuyệt vời đó là khi mình dùng Gr thinking Mode để phân tích kết quả cho bài nghiên cứu tốt nghiệp của mình. Nó có thể tự làm bảng và chia từng kết quả theo từng objectives cho mình. Nếu bạn nào học những môn khoa học tự nhiên như toán, lý, hóa hay cần lập trình những ứng dụng phức tạp thì dùng Reasoning Models sẽ là một lựa chọn hợp lý. Ngoài ra, một mẹo mình đọc được để sử dụng Reasoning Models một cách thông minh là đưa cho nó càng nhiều bối cảnh càng tốt. Về căn bản khi sử dụng những model chat thông thường như GPT 4o ta thường chỉ hỏi những câu hỏi ngắn gọn và nếu model cần thêm thông tin gì nó sẽ tự

22:19 hỏi ta. Nhưng đối với những câu hỏi phức tạp mà ta muốn Reason Model giải quyết câu trả lời của nó sẽ chất lượng hơn nhiều nếu ta nói rõ cho nó là ta cần gì và cung cấp cho nó tất cả những thông tin nó cần để lý luận. Mượn học máy để bàn việc học của con người. Trong video bàn về LMS của mình, chuyên gia Andre Capaty sử dụng một so sánh giữa quá trình huấn luyện và việc học của con người mình thấy khá hợp lý. Trong một cuốn sách giáo khoa như ảnh ở dưới, bạn thường sẽ thấy có ba phần. Phần đầu tiên là những văn bản với mục đích giới thiệu cho chúng ta những kiến thức ta cần học, xây dựng kiến thức nền cho chúng ta. Đây được ví như quá trình pretraining cho RMS. Tiếp theo, sau khi đã có một chút kiến thức nền, ta sẽ được xem một số bài tập có đáp án. Để có ý niệm về cách, ta sẽ

23:06 vận dụng những gì đã được học để giải bài tập. Đây là phần tương ứng với Supervised Fine Tuning. Phần cuối cùng ta sẽ được cho một số bài tập thường có thể tìm thấy đáp án nhưng không có lời giải chi tiết ở cuối sách giáo khoa để luyện tập và biến kiến thức đã học thành của mình. Tương ứng với reinforcement learning. Có một số điều sau đây mình muốn bàn luận sâu hơn. Tầm quan trọng của bài giải mẫu. Một số người trong đó từng có mình tin rằng tự làm bài tập trước khi chưa biết gì rồi mới xem những bài tập có đáp án thì sẽ biến được những kiến thức thành của mình. Tuy nhiên, nhiều nghiên cứu đã chỉ ra rằng direct instruction đưa ra hướng dẫn chi tiết cho học sinh trước khi bắt chúng tự giải quyết vấn đề mang lại hiệu quả cao trong việc tăng khả năng học tập của học sinh. Điều này theo mình là bởi nếu chúng ta giải bài tập khi mình chưa biết gì, những gì ta

23:53 làm hoàn toàn là đón mò, không góp phần tăng thêm kiến thức đã có của ta. Đặc biệt đối với những người mới học một lĩnh vực, việc phải tự đoán mò hướng giải hầu như bất khả bởi lúc này gánh nặng nhận thức trở nên quá lớn. Thế nên đừng ngần ngại xem qua một số bài giải mẫu trước khi bước vào giải bài tập chính thức. Nhớ rằng đừng xem bài giải mẫu mãi mà phải tự làm một số bài tập để in sâu kiến thức là được. Cũng giống như quá trình huấn luyện, bước SFT vẫn đóng vai trò tương đối quan trọng trước khi chuyển sang bước RL. Trong bài báo về quá trình phát triển deeps R1, Dipsic cũng thừa nhận rằng khi áp dụng thẳng vào base models để tạo ra di R1, model này vẫn gặp một số hạn chế như tạo ra những kết quả rất khó đọc hoặc là bị trộn lẫn với các ngôn ngữ khác nhau trong câu trả lời của mình. Thế nên khi phát triển VIP 1 bản chính

24:39 thức họ mới phải thêm bước cost start cũng là thu thập dữ liệu mẫu để model học cách bắt trước như SFT để tăng độ thân thiện của model đối với con người. Supervised Fine Tuning giúp cho model biết được những dạng câu trả lời như thế nào sẽ là hợp lý từ đó tối ưu câu trả lời của mình. Deliberate practice. Khi đọc về reinforcement learning mình được gợi nhớ đến khái niệm deliberate practice hay tiếng Việt là tập luyện có chủ đích. Đây là một khái niệm được cho là đứng sau thành công của những chuyên gia, những người đứng đầu lĩnh vực của mình. Deliberate practice được tra đẻ của nó. Anders Ericsons, định nghĩa là hoạt động huấn luyện, được cá nhân hóa bởi một huấn luyện viên hoặc một giáo viên nhằm phát triển một kỹ năng cụ thể của một người thông qua việc liên tục lặp lại và cải tiến quá trình luyện tập. Trong bối cảnh hiện đại, mình nghĩ rằng huấn luyện viên hay giáo viên không nhất

25:26 thiết phải là một người khác mà hoàn toàn có thể là chính bản thân ta. Một đặc điểm khiến Deliberate Practice hiệu quả là số lần lặp lại nhiều. Nhưng mỗi lần lặp lại ta cần biết được ta làm tốt điểm gì, chưa làm tốt điểm gì để có thể cải tiến. Mặc dù thời gian bỏ vào luyện tập là điều cần thiết nhưng nếu ta luyện một tư thế chạy sai trong vòng 1000 giờ hay viết sai chính tả 1000 lần thì ta không thể trở nên tốt hơn mà thậm chí còn tệ đi. Thế nên câu nói practice makes perfect là đúng nhưng chưa đủ. Câu đầy đủ phải là deliberate practice makes perfect. Thông thường để quá trình deliberate practice có hiệu quả, ta nên kiếm cho mình một huấn luyện viên hoặc một người hướng dẫn để giám sát ta. Cũng giống như trong RLHF, LMS phải có một reward model để biết được nó đang làm đúng hay làm

26:11 sai. Tuy nhiên, mình hiểu rằng không phải ai cũng có đủ điều kiện để làm điều đó. Thế nên một điều ta có thể làm là so sánh kết quả của bản thân với những ví dụ mà ta muốn hướng đến. Ví dụ để luyện viết, ta có thể chọn một bài viết mà ta cảm thấy hay. Tự viết về chủ đề của bài viết đó trước và sau đó so sánh với bài gốc để xem mình cần cải thiện điểm gì. Mấu chốt của Deliberate Practice đó chính là luyện tập hàng trăm lần. Nhưng mỗi lần luyện tập phải để cải thiện được một điểm yếu nào đó thêm một chút chứ không chỉ đơn thuần là luyện những gì ta đã giỏi sẵn. Làm thế nào để đưa ra quyết định tốt hơn? Ta có thể thấy rằng lý do reasoning model có kết quả đầu ra chất lượng hơn model thông thường trong các tác vụ phức tạp là bởi chúng suy nghĩ qua các bước trung gian. Nếu models mất ít thời gian suy nghĩ và bước suy nghĩ của nó càng

26:57 ngắn thì khả năng dẫn đến kết quả sai càng cao. Điều này cũng đúng với con người. Nếu ta dành ít thời gian suy nghĩ và hành động ngay mỗi khi gặp một vấn đề nào đó, khả năng ta mắc sai lầm càng cao. Hãy thử nhớ lại xem những lần bạn hối hận nhất có phải là những lần bạn hành động bộc phát cảm thấy tức giận hoặc bỏ cuộc ngay lập tức khi gặp khó khăn. Thế nên để đưa ra quyết định sáng suốt hơn, một trong những nguyên tắc của mình là hạn chế quyết định ngay khi vừa nảy ra ý tưởng hoặc gặp một vấn đề nào đó. Nếu muốn mua một món đồ gì, mình sẽ đợi khoảng một tuần sau để xem lúc đó mình còn cần nó hay không. Thường mình sẽ thấy mình không cần nó đến thế. Sau khi viết một bài viết, mình sẽ không đăng ngay lập tức mà đợi khoảng một ngày hoặc ít nhất một giờ sau để dò lại. Và thường là trong lúc dò lại mình sẽ thấy lỗi. Nếu mình cảm thấy tức giận với ai

27:43 đó, mình sẽ cố gắng hít thở trước khi thể hiện cảm xúc của mình. Sau khi bình tĩnh, ta có thể thấy vấn đề cũng không nghiêm trọng đến vậy. Trước khi đưa ra quyết định quan trọng cho sự nghiệp, mình luôn dành ra ít nhất một tuần hoặc gấp lắm thì cũng là một ngày để suy nghĩ. Đã có quá nhiều lần mình đồng ý ngay lập tức và khi làm thì cảm thấy hối hận, khôn nguôi. Tuy nhiên, cũng như LMS, đối với những tác vụ đơn giản, ta không cần và không nên suy nghĩ quá nhiều. Nhưng để đưa ra được câu trả lời chất lượng, LMS cần những trọng số chính xác. Cũng như vậy, để đưa ra quyết định chính xác trong tình huống hàng ngày, đòi hỏi ta phải ứng biến nhanh. Ta cần phải rèn luyện từ trong tư duy của chính mình. Bây giờ nếu ai bảo mình uống đồ uống có nhiều đường hay tiêu tiền cho một thứ mà hiện tại mình không cần, mình chắc chắn sẽ từ chối không cần suy nghĩ

28:29 bởi điều đó đã in sâu vào tư duy của mình rồi. Mình có niềm tin rằng bản thân là một người trân trọng sức khỏe và chi tiêu có chừng mực nên mình có thể ngay lập tức đưa ra những quyết định đúng với giá trị của mình. Tất nhiên thi thoảng mình vẫn đưa ra những quyết định khiến mình phải hối tiếc. Nhưng việc cho bản thân thời gian suy nghĩ và rèn luyện từ tư duy của chính mình đã giảm tỉ lệ đó đi rất nhiều. Làm thế nào để không tối cổ về LMS? Trước khi kết thúc video, mình sẽ chia sẻ cho bạn ba nguồn mình thường dùng để cập nhật kiến thức về nói riêng và AI nói chung. 1. El Marena. Mình thường vào leaderboard của Elmarena để xem hiện nay đang có những models nào. Ở đây cộng đồng sẽ bình chọn xem models nào là tốt nhất. Quy trình bình chọn là bạn sẽ viết một câu lệnh cho hai models và sau đó

29:15 vot xem câu trả lời của model nào là tốt nhất. Bạn sẽ không biết tên của hai model đó là gì cho đến khi bạn vote xong. Elmarena có nhiều thể loại leaderboard phù hợp với hứng thú của bạn. Có overall, math, instruction following, creative writing vân vân. Bạn có thể chọn tác vụ nào mình thích và xem các models nào đang dẫn đầu trong tác vụ đó. Tuy nhiên, vì đây là kết quả từ cộng đồng và mỗi người thường sẽ có quan điểm khác nhau nên kết quả mà các bạn thấy trên Elmar Marina chưa chắc đã phản ánh thực tế. Ví dụ mình thấy Clot 3.7 Sonet là một model khá ổn nhưng nó chỉ xế thứ 37 mà thôi. Bạn chỉ nên xem bảng xếp hạng này để tham khảo và tự trải nghiệm và chọn xem mình sẽ sử dụng model nào. Hai, The BCH Newsletter. Đây là newsletter được viết bởi Android, một trong những chuyên gia

30:00 nổi tiếng nhất về AI và đội ngũ deeplearning. Trong thư, bạn thường sẽ đọc được một đoạn tâm sự của Andrew về những chủ đề liên quan đến AI trong cuộc sống. Ví dụ như bạn có nên học code trong thời đại này không? Bạn cũng sẽ đọc được thông tin về những cập nhật mới về AI diễn ra trong thời gian gần đây. Ba, Lex Freedman Podcast. Nếu bạn muốn tìm hiểu sâu về bộ óc của những người đang dẫn đầu trong công cuộc phát triển trí tuệ nhân tạo, suy nghĩ của họ về tương lai và góc nhìn của họ về sự phát triển của AI, podcast của Lex Freedman là một lựa chọn phù hợp. Lex Freedman đã phỏng vấn nhiều nhân vật quan trọng như Samman, CEO Open AI, Yan Leun, Chief Scientist tại Meta AI, Dario Amode, CEO của Anthropic và rất nhiều người khác. Ngoài ra thì podcast này cũng đa dạng nhiều chủ đề khác nhau như

30:47 chính trị, khoa học, lịch sử là một nơi phù hợp nếu bạn muốn mở rộng tư duy của bản thân. Ngoài ba nguồn này thì có rất nhiều nguồn khác bạn có thể cập nhật về AI. Nói chung thông tin không thiếu, chỉ là ta muốn tìm hiểu hay không thôi. Mình hy vọng những nội dung này đã giúp bạn có thêm góc nhìn khác về thứ công cụ mình đang dùng hàng ngày. Việc hiểu LOMs ngoài việc giúp bạn chém gió ra thì mình tin rằng nó cũng sẽ khiến bạn dùng công cụ này một cách thông thái hơn. Để kết bài, mình muốn nhắn nhủ với bạn một thông điệp rằng tuym hiện tại có những khả năng thần kỳ nhưng kết quả nó đưa ra không phải lúc nào cũng chính xác. LMS chỉ đơn thuần đưa ra từ có xác suất xuất hiện cao nhất. Mà đã là xác suất thì hiếm khi tuyệt đối. Ta cần dùng nó một cách thận trọng. Nếu được thì nên

31:32 kiểm tra thêm một nguồn thứ ba để chắc chắn kết quả mà đưa ra. Trong tương lai mình sẽ viết thêm một bài về làm sao để đảm bảo kết quả đầu ra chính xác từs. Các bạn đón chờ nhá. Và đó là toàn bộ những chia sẻ của tác giả Minh Chiết trên Spyroom. Hi vọng các bạn sẽ thích video lần này. Đừng quên like, share và subscribe ủng hộ chúng mình. Và nếu các bạn thích những nội dung như trên thì hãy đăng nhập vào spyroom.com để tìm thêm. Mình là Việt Anh. Xin chào và hẹn gặp lại.