0:00 Hello anh em, chào mừng em quay lại với M AI và hôm nay chúng ta sẽ cùng nhau tìm hiểu một cái món mình để trên màn hình GPT OSS. Đó mình sẽ introduction và hand on luôn. Thì cho bạn nào chưa biết nó là cái gì nó là một mã nguồn mở của Open AI nhá. Cung cấp cho chúng ta hai model mã nguồn mở đó là GPT OS 120B một model cực khủng và GPT OSS 20B một model cái model medium size có thể chạy được trên máy tính của chúng ta. để chúng ta có thể sale host được lm upline và dùng một cách an toàn và yên tâm không sợ bị mất dữ liệu nhá. Chi tiết như thế nào thì cùng mình tìm hiểu nhá. [âm nhạc]
0:52 Rồi thì Open AI là một hãng lớn và những đợt họ ra model thì luôn là một cái sự ngóng đợi của cả thị trường đó. Và lợt này họ làm còn wow hơn nữa đó là họ open so cái model của họ đúng không? Chúng ta từng dùng chat GBT, chúng ta chat với những cái model như là 4O vân vân rồi chúng ta thấy là wow amazing. Thì bây giờ họ open source cho chúng ta. Đấy, chắc chắn là sẽ không bằng được cái bản mà họ thương mại rồi. Thế nhưng mà với những cái task thông thường, với những cái việc mà chúng ta được lợi từ cái việc chúng ta à dùng local, chúng ta không lo về mất dữ liệu, chúng ta không phải trả phi phí thì nó kém lên một chút không sao nhá. Giờ chúng ta sẽ cùng tìm
1:39 hiểu xem là cái này nó có cái gì hay mà nó gây wow cho người dùng như vậy nhá. Đây mình sẽ bắt đầu. Đầu tiên nó có mình hai cái model open source. Một cái là GVT OS120B. Đó thì là một cái large open model đó model rất lớn và chạy trên gì? Data center và những cái desktop laptop 2N. Đó thì cái này thì thường dùng với những người mà có một cái DC đàng hoàng, doanh nghiệp chẳng hạn hoặc là có những cái máy tính cực khủng. Đó. Thế còn thứ hai là model OSS20B đó thì là một cái medium size, medium size cỡ trung bình và có thể chạy trên hầu hết các cái desktop và laptop. Đó nếu như chúng ta có một cái laptop khủng, một cái desktop khủng mà có GPU
2:26 ví dụ như 3090 đó hoàn toàn chạy được. Đó tí mình ch các bạn xem. Rồi bây giờ mình sẽ đi sâu vào tìm hiểu tại sao hai cái model này nó lại wow như vậy nhá. Đây mình sẽ tìm hiểu vì sao nó wow như vậy và vì sao nó tạo ra một cơn sốt ở trên thị trường. Đâu đâu cũng nói về GBT, OSS, Facebook, YouTube, blog vân vân đúng không? Đây thì chúng ta có hai cái model này. Đúng chưa? Đây là những đoạn text họ viết rất nhiều text ở trên cái trang giới thiệu về cái cái model này. Ấ họ viết cực nhiều text đó. Và mình cũng không muốn các bạn đọc hết cái tex này cho nó mệt. Chúng ta chỉ nhấn những cái điểm chính thôi nhá. Thì trong phần đó mình à nhấn một chỗ là mình có cái gì? Giấy phép apa linh hoạt. Đó cụ
3:12 thể là cái gì? Đó là à nó sẽ được ba cái điểm này nhá. Tất nhiên cái Apache 2.0 linh hoạt thì nó rất nhiều rất nhiều những hạng mục trong đấy và mình cũng không nên đọc hết làm gì cho mệt. Mình nhớ ba điểm hay rất hay. Đó là gì? Một là cho phép dùng thương mại đó có nghĩa là bạn hoàn toàn có thể dùng được cái model của họ họ Open SU này để bạn kiếm tiền bạn host lên bạn tạo một cái chương trình bạn kiếm tiền từ đó hay là bạn bán phần mềm từ đó bạn hoàn toàn có quyền sử dụng nhá. Các bạn chú ý một số giấy phép mã nguồn mở là họ không cho mình làm việc này đâu. Họ sẽ bắt mình là chỉ được dùng để giáo dục để thực hành để làm demo đó không được kiếm tiền. À tất nhiên là mình làm chui thì nó vi phạm đạo đức và họ cũng không biết được đâu. Nhưng mà khi
3:58 mà mình đủ lớn thì họ sẽ kiện. Đó ví dụ thế. Ờ thứ hai là chúng ta là gì? Cho phép sửa đổi và phân phối lại. Đó n chúng ta khi chúng ta sửa xong chúng ta phân phối lại cho người khác vẫn ok. Và cái thứ 32 này, không cần mở mã nguồn khi phân phối. Đó có nghĩa là ví dụ bạn dựa vào mã nguồn mở này, bạn cấu hình lại, bạn customiz bạn chỉnh sửa lại nhá. Thì bạn không cần khi bạn phân phối lần tiếp theo bạn có thể chuyển thành close source, bạn kiếm tiền, bạn kinh doanh không cần phải bắt buộc phải open source. Đó thì mình cũng không phải là chuyên gia về open source software. Thế nhưng mà đây là ba cái điểm key point mình rút ra được từ cái Apach 2.0 thì mình chia sẻ các bạn. Tóm lại là bạn có hai cái mồ này bạn toàn quyền sử dụng
4:46 kiếm tiền tẹt ga nhá. Rồi về hiệu năng nhá thì cái GPT OS12B đạt hiệu năng gần tương đương với O4 mini đó và nó cần một cái GPU 80 GB. Đó cái thằng 20B là thằng này mình quan tâm nhất này vì mình không phải là một doanh nghiệp, mình không có một cái máy tính high 2N nên mình rất quan tâm đến cái con 20B này vì nó chạy được trên những cái máy thông thường của mình. Rồi nó tương đương với O3 mini. Thế là đủ rồi. Thường thường mình chat cũng chỉ dùng đến O3 mini thôi là cũng 4 mini là ok rồi. Và chỉ cần 16 GB bộ nhớ. Wow. Có nghĩa là những máy nào mà có trên 16 GB bộ nhớ chạy rất là mượt. Ok. Và còn hỗ trợ gì này nhỉ? hỗ trợ là suy luận COT
5:32 có nghĩa là train of thought force nghĩa là nó có thể suy nghĩ được đó rất là hay. Rồi đó là mấy điểm chính cái đoạn text này. Tex nhiều lắm tex website biết nhiều mình khếu mình khuyến nghị với cả Open AI là lúc sau ông viết nó ít tex thôi, nhiều hình một tí rồi đỡ khổ đọc đọc khổ quá. Đó tóm lại là gì? Mã nguồn mở nhưng mà hiệu năng tương đương với những cái model thương mại. Ok chưa ạ? Đây đây là số lớp số tham số đây. 120B là 17 tỷ và 20B là 21 tỷ tham số. Đó. Cái mình quan tâm nhất đó là cái độ dài ngữ cảnh đó rất là lớn. 128.000
6:19 token rất lớn nhá. À rồi ok rồi. Đây bộ nhớ thì mình ok rồi nhá. Không còn gì phải nói. Ok chưa? Tiếp đây. Đây là một số cái biểu đồ. để mình minh họa cái họ minh họa cái sự tương đương của cái model này với một số model thương mại để các bạn tham khảo thôi. thì mình cũng không đi quá sâu vào đây nhưng mình ví dụ này đây này đây đây so trực tiếp với O3 O4 mini O3 mini đó thì các bạn chủ động pause video lại đọc những thông số này đây và đây là code này đó thì cũng tương tự như vậy nó khá là xêm xêm với những cái model thương mại đó rồi một số cái chỉ số khác như IM rồi 2024 IM 2025 về
7:05 toán đó thì cũng Bạn nhìn không? Khá là bằng phẳng đấy. Khá là bằng phẳng. Như vậy là nó cũng tương đương với cả thậm chí là còn vượt đây này. Còn vượt cả cái model O mini này. Đó được chưa? Nhìn chưa? Khủng chưa? Đó mã nguồn mở không mất tiền mà được như này là quá ổn rồi đó. Đây trên of talk thì mình nói rồi đúng không? Nó hỗ trợ trên of thoughting xong bắt đầu reasoning xong bắt đầu mới trả lời. Đỉnh vãi đỉnh nó tạo wow là phải rồi. Rồi summary tổng kết lại là GBT OS20B chỉ cần 16 GB RAM chạy mượt trên thos hỗ trợ Python hỗ trợ search. Rồi còn GPT 1 20B thì gần ngang O4 mini đó. Rồi thoải mái chạy local để thử
7:52 nghiệm đó. giáo dục hay là dùng để tránh lộ dữ liệu nhạy cảm. Đó, một số cái tổ chức và dữ liệu của họ nhạy cảm. Ví dụ như ngân hàng nhà mình không bao giờ được submit dữ liệu khách hàng lên trên mấy cái model ở trên cloud thì mình sẽ sale host ở DC nhà mình, data center nhà mình. Sau đó mình sẽ gọi vào đó. À ok chưa ạ? Rồi đây thì đây mình sẽ làm rõ một chút cho các bạn về phần này. À đây để mình à cho nó kéo xuống một tí. Rồi đây thì làm rõ làm rõ cái gì. Hello anh em. Anh em đăng ký kênh, đăng ký kênh để ủng hộ MI nhá. Đăng ký kênh thì miễn phí nhưng MI rất vui khi anh em đăng ký. Chúng ta xây dựng những cái hệ thống phần mềm thì chúng ta sẽ thường là sẽ khi mà đến cái đoạn cần phải gọi vào LOM ấy thì chúng
8:39 ta sẽ gọi qua API và LOM sẽ trả ra cho chúng ta. Đó thì cái này nó nóẽ dùng chung cho rất nhiều những bài toán là ví dụ mình có một hệ thống mobile banking cần phải làm chatbot cũng gọi vào con này cần một website khác để hỗ trợ cho người dùng nội bộ cũng gọi vào con này luôn đó kiểu thế. Thế thì con này có hai kiểu. Một kiểu là API con lên trên cloud. Ví dụ như Amazon, Bedrock, Google Vertex AI hay là Microsoft Azurea, Open AI. Đó thì bạn gọi lên trên cloud đúng không ạ? Thế nhưng mà trong bài toán này mình sẽ focus vào phần là phần sell host. Đó vì mình nói rồi chúng ta có một mã nguồn mở ta sẽ sale host tại local để tránh vấn đề dữ liệu privacy tránh mất tiền gọi API đúng không? thì chúng ta sẽ
9:26 cần những đầu tư những con GPU đó và chúng ta sẽ host cái con model GBT của chúng ta open ấy ấy lên trên cái máy chủ mà có con GPU này. Đó thì mình thì mình dùng một cái máy cùi nên là không có GPU nên là mình đang thuê một con VPS nhá. Thuê một con máy chủ VPS ở trên thu.vn. Đó thì trong bài toán này mình thuê một con card cũng không quá là khủng đâu. Con 3090 thôi. Con rất bình thường, nhiều bạn đã có ở nhà rồi nhưng mình không có. Mình thuê một cái máy chủ ở trên đấy, cắm vào con đấy để mình demo cho việc chạy cái model GPT OSS 20B ở trên đấy cho các bạn xem nhá. Đây thì mình show cái trang của thuê GPU đây. Bên này thì cũng hỗ trợ Mai rất nhiều.
10:11 Đó. Thuegpu.vn. Đó. Đó thì bạn sẽ vào đây bạn sẽ có những nhiều lựa chọn về à loại carc này. Đó loại card đây mình sẽ showu cái này luôn được này. Đây loại card P40 A4000 A6000 V100 rồi 3090 bình dân 5090 vân vân. Đó và bạn có rất nhiều những cái máy để thuê đó. Khi bấm vào mỗi loại card ở trên thì sẽ biết được là bằng bao nhiêu máy đang available, bao nhiêu máy hết rồi và bạn được chọn hành luôn. Đó bạn thích Windows hay là thích Ubuntu. Mình thì thích Umuntu đã mình khuyên các bạn nhá đã trên model nên dùng Linus nó ổn định hơn rất nhiều cấu hình dễ dàng hơn rất nhiều là Windows nhá. Rồi và nhân dịp video này ra mắt thì thuê GPU cũng tặng cho các bạn 10 cái
10:58 code 100 cành. Đó nghĩa là đây là code tặng trực tiếp luôn chứ không phải là các bạn giảm giá trên cái việc bạn mua hàng đâu nhá. Bạn có cái code này bạn vào trang thuegpu.vn bạn tạo tài khoản sau đó bạn vào phần cop để bạn nhập vào là bạn có 100.000 trong tài khoản luôn để mà chúng ta trải nghiệm dịch vụ của thuê GPU nhá. Cách tham gia như thế nào? Các bạn hãy comment một câu bất kỳ xuống dưới cái video này. Sau đó bạn vào phần mô tả của video nhá. Bạn mô tả video hoặc phần bình luận đấy. Mình sẽ để vào cái Google Form. Các bạn sẽ nhập thông tin của các bạn vào Google Form đấy nhá. Trong đó có cái email ấy phải nhập cực chính xác nhá. Thì mình sẽ random sau rồi mình gửi 10 cái code này nhá vào tụng gửi tự động ấy. Gửi bằng n8n ấ gửi
11:44 tự động 10 code này vào email của các bạn để các bạn sử dụng nhá. Trong cái email đó cũng sẽ chỉ rõ là các bạn làm thế nào để dùng rồi nhá. Đó. Thế thì các bạn cứ comment đi xong rồi nhập vào form đi. Chúc các bạn may mắn nhá. Rồi bây giờ đến phần thực hành hands on thì chúng ta sẽ làm gì? Chúng ta sẽ thử nghiệm ở trên playground của của của GPT OSS luôn xem chat như thế nào. Sau đó chúng ta sẽ cài đặt một con máy chủ chạy GPU 3090 và cài lên trên đấy bằng Olama host bằng Olama. Đó và sau đó thì chat thử. Trá thử xong thì ta gọi thử từ Python với cái thư viện Olama đây. >> Hello anh em. Chào đây đây đây đây đây
12:31 đây đây đây mình đây là mình cái video trước của mình ý mình nói là gì? Trong cái phần mà bạn cài lên VPS và chat thử ấy thì trong bài này mình sẽ chat thử bằng cách là gõ ở trên com line thôi nhá. Nhưng bạn hoàn toàn có thể cài open web UI lên để bạn chat cho nó giống hệt với chat GPT. Đó, cách cài như thế nào thì ở trên kênh YouTube MaiI đã có một video mình chỉ chi tiết về Open Web UI rồi. Các bạn vào kênh của YouTube Mai và gõ open web UI này này sẽ có ngay một cái video chỉ chi tiết nhá. Trong đây mình không demo phần đấy mình để các bạn để nhìn thấy thôi. Đây. Đó. Ok. Bây giờ mình sẽ thử từng bước một này. Đầu tiên là mình test trên playground trước nhá. Đây playground
13:17 đây. Đây GBT. Ohs. Đó. Đây là playground. Bạn có thể chat thử với từng model. Ví dụ đây model 20B. Xin chào bạn. Đó. Đó. Think kinh này. Xong trả lời này. Đó. Cách để bơi qua sông khi không biết bơi. Đó. Nó sẽ thinh kinh đó. Ồ mình bị hết limit rồi. Thôi không sao đó. Tóm lại là các bạn có thể chat ở trên này. Một ngày nó cho một số limit thôi. Và bạn nếu bạn muốn thì bạn phải sign in với hacking face. Đây không sao mình xem là tiện có in được luôn trong thì thì mình sẽ in luôn. Rồi đó si nhanh rồi. Thế thì mình sẽ chá
14:05 cùng tiếp luôn. Đó cách để bơi qua sông khi không biết bơi. Đó nó sẽ reasoning kingh sau đó nó sẽ trả lời. Đó thấy chưa? Đó đó đó đó đỉnh không đó trả lời khác gì chat GPT đâu ạ các bạn thoải mái chat đó và bạn có thể dùng cái này thay chat GPT được trả lời rất xịn không phải mua được chưa ạ đó và mình có thể thử nghiệm cả với model 120B model 20B và ờ chỉnh cái độ reasoning của nó rồi có sâu với không vân vân đó tạo rất nhiều nhá đây new một cái mới này đó được chưa rồi thì đó là mình sẽ demo cái việc là chúng ta có thể là playground để chúng ta thử nghiệm trên này luôn xem nó model nó như
14:50 thế nào. Được chưa ạ? Sau khi playground xong thì chúng ta có thể cài được lên trên máy chủ để sale host. Đó thì hôm nay mình có thuê một cái máy chủ ở bên thuê GPU đây. Máy chủ chạy 3090 đó. À bạn thuê máy chủ 3090 thì chúng ta sẽ có một con máy chủ ổ cứng 300 GB. Bộ nhớ 48 GB. Đây bộ nhớ RAM nhá. Thế còn con GPU này hình như là 24 GB thì phải. Đó. Mình không có cơ hội được sở hữu như con GPU này nên là kiến thức về GPU gần như là zero đó. Ờ rồi. Thế thì bây giờ mình sẽ vào cái máy chủ này bằng SH. Đây mật khẩu này, tên người dùng này. Ờ rồi IP rồi mật khẩu đúng không? Thì mình sẽ
15:36 dùng một phần mềm. Bạn có thể dùng bất kỳ phần mềm SSHS nào để vào. Còn ở đây mình quen rồi, mình dùng cáios này. Bạn nào mà ờ thường xuyên xem kênh YouTube Mai thì sẽ thấy thường xuyên mình dùng con TOS này nó rất là tiện. Rồi mình connect vào. Ok. Rồi việc đầu tiên là mình sẽ cài Olama được không? Rồi mình chờ mình chút để mình stop cái slide này nhá cho nó đỡ nặng máy. Rồi. Cài Olama thì đây mình có một chỗ để mình chỉ các bạn cách cài luôn. Đây cài Olama olama.com cái chéo download cái kéo Linus đó. Và đây là câu lệnh bạn có thể
16:23 copy và cài. Nhưng mình không thích cài bằng cách này. Đó, cách này là cách cài tự động hoàn toàn và bạn sẽ không có quyền control về port, về cổng các thứ vân vân nên mình không thích. Mình sẽ dùng manual install. Bạn nào thử có thể cài thoải mái. Đây họ cũng hướng dẫn lại đây. Install đây. Dùng cái này nhưng mình thích manual vì manual mình sẽ control nhiều thứ hơn. Thì đầu tiên bạn sẽ c cho mình hai cái lệnh này. Copy. Đó. Đó, xong bạn paste vào đây và enter là xong. Được chưa? Đó, để tiết kiệm thời gian cho các bạn thì mình sẽ không cài. Vì sao? Vì mình đã cài rồi. Đó, tiếp đến bây giờ mình sẽ dùng cái lệnh serve. Đó, lệnh serve để mình bật cái server Olama lên. Đấy, tuy nhiên là để mà có thể trên được port của nó thì bạn sẽ không chạy câu lệnh Olama
17:09 search như thế này. Bạn chạy câu lệnh giống như mình để màn hình đây. Đó, Olama host 0.008. Có nghĩa là cái này sẽ mở ở cổng 8888 và 0.0.0.0 có nghĩa là shop everywhere ở đâu cũng cóck vào được cả. Đó còn trong thực tế thì bạn có thể giới hạn lại IP nào được gọi, giải mạng nào được gọi nhá. Rồi enter. Đó thì nó sẽ chạy như thế này. Lúc này bạn đã sẵn sàng để rồi nhưng mà chưa load model đúng không? Bạn mở mình một cửa sổ mới. Đó. Rồi bạn sẽ load model về bằng cái lệnh như sau. Đây. Đó. Olama pool GPT gạch ngangs
17:55 20B nhá. Tất cả những cái lệnh này mình sẽ để ở phần mô tả của video. Bạn vào đấy copy chứ không phải nhớ đâu. Và enter. Thế thì mình cũng p rồi nên mình enter nó cũng không p lại đâu. Đó xong luôn. Thế còn nếu bạn chưa P thì nó sẽ P và tốn khoảng 13 GB GB ở trên ổ cứng. Rồi như vậy là xong rồi đấy. Bây giờ mình có thể run thử để mình chat thử. Đó run thử chat thử này. Đây. Đó. Olama run vẫn để cái Olama host nhá. Enter này. Đó. Nó sẽ load cái model này vào trong bộ nhớ. Và chúng ta có thể là ờ chat thử. như hai rồi à cách bơi qua sông khi không biết bơi
18:41 đó rồi nó cũng giống hệt như chúng ta vừa chat ở trên cái trangtos playground đó đó đó đó đó đó nó đang thh kinh nhá đang thh kinh này xịn như là model thương mại luôn thinh kinh đoàng hoàng đó và chữ xanh là chỗ nó trả lời chúng ta được chưa ạ? Do chúng ta đang chat trên comang line nên nó không có cái giao diện web để nó format bảng biểu rồi in đậm in nghiêng nên nó nhìn hơi xấu. Thế nhưng mà đây mình demo cách để chúng ta biết được nó trả lời rồi nên là cũng ok. Đó. Rồi đó kết luận đàng hoàng và xong thì ấn nút bye. Đó và chúng ta muốn kiểm tra xem là cái server mà chúng ta vừa se ở
19:30 bên này này nhá. Nó đã đã có cái model GPT 20B chưa? Thì chúng ta dùng lệnh Olama list. Đó. Đây này. Nó hiện ra cái GPT 20B như này là ok. Đã lad sẵn rồi. Bây giờ chúng ta có thể gọi được từ Python lên. Rồi đây ví dụ đây là chúng ta là gì? Mình đang demo cái trường hợp là bạn có một cái doanh nghiệp, bạn muốn có một cái máy chủ, bạn host cái model à open source 20B lên rồi nhá. Bây giờ mình giả sử mình có một cái mobile app, mình có một cái website, bây giờ mình sẽ cô vào đây để mình thử xem là nó chạy như thế nào, nhanh không. Đây thì bây giờ mình sẽ à tạo hai cái file. Một cái file đầu tiên là cái file gọi là chat only. Đó để mình chỉ chat thử với
20:16 cả thằng à thằng thằng thằng à thằng gì nhỉ? Open SW thôi đúng không? Thì mình đã có con file setup ở đây. Các bạn có thể là cài hoặc là bạn gõ luôn là pip install install. Enter. Đó. Đây mình sẽ gõ đây nhá. Olama. Được chưa? Đó để mình cài cái thư viện Olama. Cái Olama vừa nãy mình cài ở trên này là Olama server để nó host model. Còn cái Olama mình vừa gõi lệnh pip này này là cái thư viện Olama đây để mình làm việc được với Olama đây. Đóama Python Library là cái cách đơn giản nhất để tích hợp Python với Olama Đó. Được chưa? Bây giờ mình sẽ thử gọi một đoạn đơn
21:07 giản thôi. Đây. From Olama import này. Chat import chat client đi. Đó. Rồi ờ mình sẽ khai báo một cái client đó bằng client. Rồi kết nối đến đâu? Kết nối đến host là cái nào? Ờ host là cái gì? cho biết là cái lama của các bạn nó đang host ở đâu, đang lưu ở đâu đúng không? Thì bây giờ mình sẽ lấy ở đâu? Đây địa chỉ đây. Copy à http 2 chấm hai chéo. Rồi bạn nhớ cái cổng là gì không ạ? Cổng vừa hó bên này này. Đây này là cổng đâu rồi? Có mở được
21:55 nữa không? Cổng 888 đây. Đó đúng chưa? 888. Rồi xong. Bây giờ chúng ta sẽ thử chat một đoạn đơn giản. Respond à respon về import đã. From olama import respon chat respon. Rồi đây mình chat thử một đoạn nhá. Respon chat respon bằng client.chat đó. Bây giờ mình sẽ truyền tham số gì vào đây? Model nào đó model nào? Mod bằng GPT OHS20B. Đó, đúng cái model ở trên này là ok. Đây này. Đó. Ok. Rồi. Message là gì? Message chat là
22:41 gì? Đây mình sẽ để vào là gì? Roll là user đó. Chat nội dung gì? Content. Cái này thì đúng là message của chuẩn của Open AI rồi đúng không? À tại sao cá lại bơi được? Trả lời ngắn gọn đó để mình cho câu này vào cho nó đỡ trả lời dài dọng. Rồi đó thì mình kỳ vọng là sẽ trả lời cho mình là tại sao cá lại bơi được. Đó mình sẽ gọi là print. Mình sẽ in một đoạn một đoạn kingh một đoạn à đây một đoạn thinking và một đoạn respon. Đó và mình sẽ in từ cái biến là respon message ra. Được chưa? Ừ rồi. Ok.
23:26 Đó thì cái biến respon đây nó sẽ chat nó trải về respon mình sẽ in phần think kinh riêng và phần answer riêng nhá. Rồi chạy thử này. Python chat only. Enter. Đó nó đang chat rồi đấy. Rồi thanh kinh này. User tại sao cá lại bơi được? Họ hỏi bằng tiếng Việt đó. Hạ chà là ngon đó. Think kinh và hãy trả lời bằng tiếng Việt. Thông bình vãi. Thinh kinh rất chuẩn đấy. Rồi cá bơi được nhờ. Đó. Ok chưa ạ? Chương trình Python của mình đã kết nối thành công lên trên con server Olama này và chạy ngon lành. Đó trả lời rất nhanh đó. Và rất là thông minh nhá. Đấy. Một cái model mã nguồn mở
24:12 như này quá đỉnh. Rồi bây giờ mình demo một cái khó hơn đó là không phải chỉ chat only nữa mà có ờ function calling đó. FC đi demo đó có function calling nó mới hay. Đó function cing là gì thì các bạn biết rồi ở trên kênh MAI đã có function calling rồi. Đây mIi function calling đó bạn search đây nhá ra ngay là function calling. Thì bạn nào chưa biết function calling là gì thì xem video đó. Còn trong đây mình chỉ nói đơn giản thôi. Function calling là gì? Ví dụ bạn hỏi một câu là model AI nó sẽ không thể nào mà nó update được đến hiện tại. Ví dụ bạn hỏi nó là giá chứng khoán ờ Vin Group hôm qua là bao nhiêu? Khóc đúng không? Thì bạn viết một cái hàm tra cứu mã chứng khoán Vin Group ở trên website.
24:58 Sau đó bạn cung cấp cái hàm đó cho thằng model. Thế thì khi bạn hỏi là mã chứng khoán Vin Group qua bao nhiêu, lập tức nó gọi cái hàm đấy, nó lấy kết quả xong nó trả lời cho bạn hay không? Đó, bây giờ mình thử nhá. Rồi bây giờ mình sẽ viết một cái hàm đó về mục đích của mình này. Viết một hàm lấy một số random đó khi người dùng hỏi lắ cái model l cho một số random đó thì ll gọi hàm này. Đó mình ví dụ thôi mà trong thực tế bạn có thể là hàm lấy mã chứng khoán, hàm truy suất dữ liệu, hàm lấy bất thứ gì bạn muốn. Được chưa? Rồi mình sẽ import random đó. Viết hàm lấy random thì phải import random thôi. Def
25:44 red random number. Được chưa? Đó cái này không cần tham số gì hết nó sẽ trả ra kiểu in. Và mình sẽ return random.runint 1 đến 10. Đó mình sẽ lấy các số từ 1 đến 10 ngẫu nhiên. Được chưa? Rất đơn giản. Hàm này siêu đơn giản luôn. Rồi bây giờ mình sẽ bắt đầu đến phần Olama import olama này. From Olama import luôn cái client này. Đó giống hệt bên kia đúng không? Đây đó mình cũng khai báo hết đi. Rồi client. Ok được chưa ạ? Giống hệt nhau khác gì cả. Rồi bây giờ mình sẽ khai báo một cái
26:30 tên các hàm để mình lúp cho nó tiện. Đây. Đó mình sẽ có chỉ có một hàm thôi. Các bạn có thêm hàm bạn cứ khai ở đây nhá. Mình chỉ có một hàm thôi. Ví dụ mà. Đó để xem là cái mãng mồn mở ấy nó có làm được function coling không. Nó làm được function coling thì nó sẽ mở chúng ta rất nhiều những cái khả năng cái tiềm ẩn. Đó. Còn nếu mà không có function cing chỉ đơn giản chit chả chết nh. Rồi bây giờ mình sẽ làm định nghĩa tool cho nó. Đó cái này tool này có rất nhiều những cái framework nó làm tiện hơn nhiều nhá. Đây là mình thí nghiệm thì thôi mình dùng viết chay cho nhanh. Đó thì mình sẽ copy. Đó còn rất nhiều framework bạn không cần phải làm này. Bạn chỉ khai báo cái hàm này này. Thêm
27:15 mấy cái cái cái a accòng ở trên này đây này. Ở đây này còng trên này này. Đó một a còng này một tí là nó sẽ tự nó khai hàm cho các bạn không phải khổ này đâu. Rồi mình sẽ thử copy tay. Đó hàm này hàm gì? Hàm get under random number. Mô tả làm gì? Là get a random number. Rồi không có parameter nào. Ok xong. Đó bây giờ mình sẽ làm gì? Mình sẽ tạo ra một cái message để mình trao đổi mình thông điệp với cả thằng à thằng model. Được chưa? À rồi đây đầu tiên là roll là system đây làm system prom ấy cho thằng model nó hiểu là nó phải làm gì. À cái này system
28:02 prom đây mình à copy cho nhanh nhá. Video các bạn cũng ngại xem dài nên mình cứ copy cho nhanh. Cái này mình làm rồi đó. Based on the information return by function calling to answer question. Try to answer polite có nghĩa là cái này khi sai chính tả đây thôi bạn thông cảm nhá. Có loại là gì? Dựa vào cái thông tin trả về từ hàm để trả lời khách người dùng và cố gắng trả lời lịch sự đừng có kiểu bất lịch sự. Đó. Rồi thứ message thứ hai là user đó. Roll này. Đó, cái này nếu mà dùng framework thì nó cũng viết hộ luôn, đỡ phải viết đấy. Đó, nhưng mình thì đang thử nghiệm từ đầu đến cuối các bạn xem nó clear như thế nào đó. Give me a
28:49 random number. Đấy, được chưa? Người dùng hỏi number format thì nó đẹp xấu quá nhỉ. Thôi gần đấy. Rồi rồi nhá. Bây giờ mình sẽ bắt đầu mình có tool rồi này. Định nghĩa tool định nghĩa mess này. Bây giờ mình sẽ chat với cả cái con Olama kia đúng không? Respon bằng client.c chat. Rồi bắt đầu truyền vào thông số giống hệt bên kia. Model là gì này. Message là gì này? Đó model này. Message thì bằng luôn message luôn cái biến này này. Đó. Rồi à truyền tool cho nó đấy. Bằng tools đấy. Tool đây. Đó. Rồi lúc này nó sẽ làm gì? Đó
29:36 cái model nó sẽ thh kinh và nó sẽ trả về chúng ta là có cần dùng tool hay không. Đó. Đây. Hello anh em. Anh em đăng ký kênh. Đăng ký kênh để ủng hộ MI nhá. Đăng ký kênh thì miễn phí nhưng MI rất vui khi anh em đăng ký. Mình sẽ in ra cái đoạn này đây. Chờ mình chút nhá. Copy nó nhanh. Đó. In ra cái đoạn respon của của model đầu tiên. Đó. Cái chỗ này mình lưu ý một chút nhá. Ở đây mình đang H code là mình chỉ gọi function đúng một lần sau đó mình trả lời. Còn trong thực tế các bạn phải if zen why do. Nếu như trong cái trả về của model vẫn còn function calling thì bạn phải gọi cho đến khi nào nó thỏa mãn.
30:21 Một trong hai điều kiện. Một là lặp sau đủ n lần. Ví dụ bạn bảo lặp năm lần thôi, lặp nhiều tố tiền hoặc là nó không còn function calling nữa. Nghĩa là là model đủ thông tin để nó trả lời rồi nhá. Nhớ nhá. Rồi ở đây mình đang H code nhớ là mình đang H code H code rồi. Ok mình sẽ làm gì? Mình sẽ for đây. Mình sẽ copy luôn nhá. Đây trong cái mod trả về thì nó sẽ có một cái phần là respon.message ch toolc nó sẽ liệt kê những cái tool bạn cần phải gọi. Thế thì mình sẽ lặp qua những cái tool đó. Được chưa? Xong mình sẽ lặp qua làm gì? Mình sẽ lấy cái tên hàm mình cần gọi. Và nếu tên hàm nó bằng cái run get random number đây được chưa? R number thì mình làm gì? Mình bắt
31:08 đầu gọi cái hàm đấy. Đây function tool c để mình gọi cái hàm đấy. Xong mình append thêm một cái đoạn message nữa vào cái message. Bessage đó là gì? System thêm biến là gì? Random number return from get. Random number là và mình truyền cái respon vào. Lúc này thì model làm gì? Nó sẽ có thêm cái ngữ cảnh. Để mình ẩn quay cho đỡ rối nhá. Thêm cái ngữ cảnh để nó trả lời đúng không ạ? Ở trên đã có hai câu rồi là như này và như này. Bây giờ nó thêm một cái ngữ cảnh là đây hàm trả về đây thì nó sẽ làm gì đó? Nó sẽ dễ dàng trả lời hơn. Và bây giờ mình sẽ gọi lên cái LLM lần hai để nó dựa vào những
31:53 thông tin này nó trả lời người dùng. Đây được chưa? Đây đó mình sẽ in tiếp ra một cái message và chúng ta sẽ đây à chỗ này mình bỏ kinh đi, không phải kinh đây là cái message thôi. Mình in ra để bạn biết là nó đã đính cái random number vào như nào đây mình đở đây nà. À message đó và mình gọi lần hai đó và truyền cái message vào tôi. Lần này mình không truyền tool nữa. Không cho nó gọi tool nữa nhá. Còn thực tế bạn làm gì? Bạn phải lúp nhớ nhá. Phải loop phải lúp rồi và mình cũng sẽ làm gì là in ra cái kinh và cái content cuối cùng là cái second respon này mình đang hard code là chỉ được quyền gọi function một lần lần thứ hai là phải trả lời kết quả rồi bây giờ
32:39 mình chạy cho các bạn xem clear này Python FC demo này đó nó lại gọi lên trên cái server host của mình ở trên thu.vn V. Đó. Rồi bây giờ mình sẽ mở to bạn xem mình đang hỏi cái câu là gì nhỉ? Random number đúng không? Give me your rand number. Đ bắt đầu nó này kinh ơ à ở à đâu đây đây đây. Nhầm nhầm đoạn này nhá. Đoạn này này. Ờ đây. We need to call. Đó. Sau khi mình gọi xong nó sẽ th kinh là chúng tôi cần phải gọi hàm get number. Đó. Ok. Rồi tiếp đến này nó gọi xong thì mình cái hàm này nó sẽ trả cho mình một cái số random và ở đây mình đã ghép nó vào một cái message mới
33:26 đó là gì? System và trả về cái gì? Random number return from get run number là 7. Rồi lúc này mình nghĩ là model đủ thông tin rồi. Mình sẽ cho nó vào cái second code ở dưới cùng đây này. Đây second code này này. Đó và mình yêu cầu nó không cho tool nữa. Gần như yêu cầu là mày dùng và thông tin mày đang có mày trả lời đi. Ok. Đây king ồ nó đang lỗi này. Nó vẫn có yêu cầu gọi function này. Chạy lại lần nữa cho đỡ lỗi này. Rồi đây. Đó thì cái này mình code một cái rất là là là láu và không không if gen cẩn thận không lúp cẩn thận nên nó đôi kia lỗi. Không sao. Mình demo cái khả năng function calling của cái mod này thôi chứ mình không viết một chương trình hoàn hảo. Đó. Đây bắt đầu
34:11 mình sẽ phân tích lại nhá. là mình sẽ gọi một random number đó và nó biết là phải dùng function rồi. Ok. Function nào đây? Function get number. Ok. Sau khi gọi xong thì mình đính thêm một cái message nữa vào là đây system và random number return from là 9. Rồi nó nghĩ tiếp. Đây lần gọi thứ hai nó nghĩ tiếp. Đó. Rồi chúng ta phải gọi hàm mà kết quả trả về từ hàm là 9 nên chúng ta sẽ làm gì? Chúng ta sẽ cho khách hàng số 9 và trả lời lịch sự. Đó. Được chưa? Rồi rồi rồi rồi rồi. Và chúng tôi sẽ trả lời là here is run number n. Nó lịch sự rồi. Ok. Và đây là kết quả cuối cùng. Sure here is the rand number you ask. N. If you need
34:59 another one, just let me know. Rất lịch sự. Ok chưa ạ? Đó thì đây là mình đã demo các bạn xong cái su code để bạn gọi function coling hoàn toàn ngon lành với cái model open source đang sale host ở máy chủ của mình không tốn tiền GPU à không tốn tiền API đó bạn chỉ cần trang bị GPU thôi và mình nghĩ một con GPU 3090 thì nằm trong tầm tay các bạn được không ạ. Đó. Rồi thì hi vọng là bài này sẽ giúp các bạn tìm hiểu thêm về GPT OSS, một cái family mã nguồn mở gồm hai model đang làm mưa làm gió trên mạng xã hội. Nếu bạn thấy clip này hay, like và đăng ký kênh để ủng hộ mình nhé. Bye bye.
