0:01 Hello, xin chào cả nhà. Lâu lắm rồi thì mình không có những cái video nói về các cái model của bên Trung Quốc. Ví dụ như là CLM5 hay là Minimx 2.7. Và gần đây thì mình có thêm là Kimi 2.5 host ở trên Fireworks. Thực ra thì mình đã mình có mua gói 10 đô của Minimx để nghịch chơi và sau đó là mình có subscribe cái file pass này của bên Fireworks thì tình cờ thôi là bạn Dương ở trên Facebook. Cảm ơn anh em nhá đã gửi cho mình một cái key của GL15
0:46 cũng như là mang lại cái chủ đề đấy là thử so sánh giữa các cái con model này với nhau xem chất lượng của nó ra sao và như thế nào thì mình nghĩ là ok đây cũng là một cái chủ đề hay lâu rồi mình cũng không làm những cái video về chủ đề như vậy và đặc biệt gần đây thì mình nghĩ là cái cái câu chuyện ví dụ như là Open AI thì không sớm thì muộn họ cũng sẽ thắt chặt cái lưu lượng sử dụng nó không còn được thoải mái như hiện tại. Tại như bây giờ thì có lẽ là cũng đúc mình nên đi tìm một cái sự lựa chọn khác nó rẻ hơn, hợp lý hơn. Vậy thì nhân tiện đây tại sao chúng ta không mang luôn những cái model này lên bán cân xem nó thế nào. Thế nên cái video ngày hôm nay nó sẽ là một cái bài bandm mà mình chạy thử đối với các cái model này xem chúng xử lý ra
1:33 làm sao cũng như là cái chất lượng nó như thế nào. Và có thể là sau đấy nó sẽ là cái việc mình đem những cái con model này vào sử dụng thực tế ở trong một cái project nhỏ của mình. Ok, chúng ta bắt đầu thôi. Thực sự mà nói thì mình cũng không có cái thời gian để mình build được gọi là một cái bộ benm chuẩn riêng mình cho nó nói thế nào nhỉ? cho nó khách quan nhất đi. Bởi vì mình nghĩ là các cái bộ benchmark hiện tại thì hầu hết các cái con model khi mà họ làm cũng có đôi chút một cái gì đấy là họ cũng tối ưu chọn những cái bài benchmark đấy rồi. [khịt mũi] Thế nên là nhiều lúc đo ở đấy cái cảm giác nó không được thực tế lắm. Nên là mình cũng rất muốn là mình thực sự mình mang cái bài toán thực sự của mình tạo ra những cái bộ dataset cũng để
2:21 từ đấy làm ra một cái bộ benchmark gọi là dựa trên công việc chính của mình. Như thế thì mình nghĩ nó mới gọi là sát và có ý nghĩa hơn. Tuy nhiên để làm được những cái bộ như vậy thì cũng tốn khá là nhiều thời gian. Và trong ở cái video này thì mình cũng không làm như thế mà mình chuyển pick sẵn random khoảng đâu đó 20 bài từ những cái bộ SB đang có sẵn thôi. Sau đó là mình sẽ sử dụng Clacode Switch hình như của một bạn ở trong team của anh Duy Nguyễn ấy. Và mình có những cái profile dành cho là Kimi này, GLM này và cũng như là dành
3:07 cho Minimx à sử dụng clock code. Với mỗi một cái model thì mình pick cái profile cũng như là chạy cái bài ó. cái kết quả thì sẽ được lưu ra thành một cái file page. Sau đó là mình chạy lại một cái đoạn script evaluation để lấy cái kết quả đấy. À gần như là apply cái patch đấy vào cái codebase sau đó là chạy docker container để validate xem là cái output đấy nó là chạy đúng hay chạy sai. Đấy. Trong quá trình đấy thì mình capture thêm time này cũng như là cái token xử lý. Đặc biệt đặc biệt là ở trong cái bài test của mình thì mình có thêm một cái biến nó là
3:54 cái max turns. Mình chỉ xét cái con số này là 20 thôi. Có nghĩa là ờ cái việc conversation của clock code nó sẽ chạy đâu đó trong khoảng 20 t nếu không trả lời được là và sau cái biter đấy mà vẫn chưa giải quyết xong thì mình sẽ tính nó là fail. Ban đầu mình nghĩ chạy như thế là vừa đủ và cái khoảng thời gian là cũng gọi là ok đi nhưng không ngờ là nó chạy cũng rất là lâu. Và mình cũng thôi mình cũng không đi và thôi mình cũng bỏ qua cái việc là mình chạy nó như thế nào ra làm sao mà mình sẽ đi luôn vào cái việc cái kết quả nó trông như thế nào. Thực ra thì mình cũng có đăng cái bài post lên
4:41 Facebook rồi vì hôm đấy mình chạy cũng mất gần 10 tiếng đồng hồ cơ setup cho đến chạy cho đến là agricate cái result. Nhưng a đại khái thì như sau. Trong 20 cái bài test mà mình pick ra random thì chúng ta có là GLM mất hơn 2 tiếng đồng hồ để xử lý và pass được 12/20 câu hỏi. Trong khi đấy thì Kimy là nhanh nhất thì mình cũng expect thôi. Tại vì bên Fass cái tốc độ của Kimi là 250 token trên 1
5:27 giây. Trong khi ở GLM và Minim thì mình lại mua ở những cái bản mình không mình không rõ là cái bản Glam mà mình được bạn Dương bạn cho thì nó là bản có cái speed là bao nhiêu nhưng ở mini max thì nó lại là cái bản speed thấp nhất à nên cái tốc độ nó không được cao. Mini Kimi thì mình chúng ta chạy hết 45 phút à chỉ giải được 10/20 câu thôi và hầu hết là cái cái bạn này đó là sử dụng quá cái Mart nên là nếu mà để cho cái M turn này cao hơn thì có lẽ là cái tỉ lệ của Kimi giải được nhiều bài hơn là sẽ cao hơn đấy.
6:14 >> [khịt mũi] >> Minimap ở đây thì cho chúng ta một con số đó một tiếng rơi vào giữa. À Kimi thì tốn nhiều tiền nhất. Tuy nhiên là mình cũng sử dụng gói F thì nên nó không tính cơ. Ờ một vài cái chỉ số như vậy. Trong 20 bài thì có bảy bài là chả có bạn nào giải được. >> [tiếng cười] >> Đấy đều quá 20 t chưa không phải là không giải được nha mà là chưa giải xong. Z hai con số 20 nó hơi thấp nhưng mà Zo thì lâu lắm chạy mãi không sao. Đấy thì nhìn chung là con số này đối với các con số này thì có lẽ là Glam cho chúng ta những cái kết quả rất khả quan khi cái cost
7:01 ustas khá là thấp này. Thời gian chạy thì lại lâu nhất này nhưng mà cái pass rate thì là cao hơn. đương nhiên là 20 cái bài này thì nó sẽ không thể đánh giá gọi là toàn diện cũng như là đại diện được cho các cái model. Một đây mình nghĩ đơn thuần là cái bài test này là một cái bài test vui vui thôi. Ờ cái quan sát của mình thôi. Ok. Như vậy là đi qua nhanh thì cái kết quả nó là như vậy. Ở cái phần số hai thì mình có mang các cái bạn model này vào cái à một cái project thực tế. Trong đó thì có một cái tính năng đó là việc mình sẽ
7:48 thanh toán thông qua Telegram. Như các bạn ở đấy ở đây thì QR thanh toán này thay vì nó hiển thị một cái hình ảnh QR code ở đây thì nó hiện cái link. Thì đề bài mình đưa ra khá là đơn giản đấy là thay vì hiển thị cái link ở đây thì chúng ta sẽ hiển thị cái hình QR code để cho khách hàng sử dụng họ không cần phải à click vào link mà có thể trực tiếp là thanh toán ngay tại đấy. À mình có sử dụng một cái câu prom rất là ngắn như thế này thôi, cũng không quá chi tiết vì thứ nhất thì cái feature này nó cũng không phải quá khó. Mình cũng chưa nghĩ ra được cái nào đấy là để làm gọi là
8:34 đánh đố cả. Mình mang luôn một cái bài tập thực tế cho các bạn ý nghịch xem như thế nào. Cor giống hệt nhau. Tạo ra một cái git book tree. Implement cái bài đấy. À thêm một cái prefix để mình phân biệt đấy là Kimi hay là đấy là mini max hay đấy là GLM. >> [khịt mũi] >> À sau đó mình nghĩ có một cái hay đó chính là bởi vì cái project này mình đã sử dụng grap từ đầu rồi. Thế nên là grap type nó cũng có context, nó cũng hiểu được cái phong cách viết code của mình để từ đấy mình lợi dụng cái việc là grap type nó sẽ review cái PR của ba cái bạn này và nó đánh giá chấm điểm. Thì mình
9:19 nghĩ đấy sẽ là một cái bài test gọi là cũng có một chút gì đấy công tâm đi. Thực tế thì mình chưa thử là test đâu nha. Mình chưa test xem là cái kết quả của các bạn này như thế nào. Nhưng trong quá trình mình quan sát thì mình nhận thấy Kimi có một cái là làm nhanh. Tuy nhiên là sau khi làm xong rồi thì chưa thực sự sát với lại cái đề bài đưa ra. Đó là cái thời điểm Kimi làm xong thì commit luôn vào main. À không chưa chưa commit vào main nhưng mà lại edit ở main mãi đến cuối khi mà cần phải commit push để tạo PR ấy thì Kimy mới phát hiện ra là đây này edit thì đang ở bên repo lúc này mới copy sang cái work tree.
10:06 Mình không thích cái behavior như thế này. Và lúc này Kimy có copy sang a cái work tre và tiến hành delete xóa file ở bên a main repository thì bị block bởi cái DCG một cái tool ở trong fly whel và thế là mình phải nhảy vào can thiệp cái tool đấy thì nó sẽ chặn những cái lệnh nguy hiểm và remove file là một trong những cái lệnh như vậy. Trong khi đó thì Minx và Gl behavia và cái cách tiếp cận khá là giống nhau. Cái cách xử lý bài toán cũng giống nhau luôn. Đó. Ờ trường hợp là như thế. Cùng à thêm biến vào database sau đó là xử lý a hình ảnh bằng
10:53 cái sen photo. Bên này thì cũng thế thôi nhưng mà bạn lại không thêm biến vào database. Mình cũng chưa xem kỹ là bạn làm cái gì. Thì nói nhanh qua là như vậy. Đây này. Minim max này. GLM này. Hai bạn này thì tạo ra group tre chuẩn xác. Check out sang bên đấy. Implement là làm rất là bài bản. Còn đây là cái a đống PR. À chúng ta sẽ bắt đầu đi trước với lệnh Kimi này. [khịt mũi] Kimi được chấm điểm 4/5. Rõ ràng một cái P1 tạm thời bỏ qua hai cái này nhá.
11:40 Ờ đó là Kimi này. Đây là Minimx 4/5. Mình đánh giá Minimx viết khá là ok đấy. Ờ hợp với cái size của mình hơn. Kim thực tế mình xem thì mình có vài điều mình không thấy thích lắm. Đấy là cái cảm nhận thực tế của mình nhá. Còn đây là GLM. chấm điểm 3/5 thôi. Cũng bạn nào cũng dính một chút a P1 đó. Thì thực tế khách quan để cho Grab TI chấm điểm. Đấy. Còn ví dụ như bây giờ
12:27 đi. Bây giờ mình sẽ thử là bây giờ mình mới bắt đầu test này. Mình có Kimi đúng không ta? Hình như là ở trong đây này. Không nhớ nữa. Ai work ú ờ work tre này chui hết vào đây. Ôi lag quá. Kimi Kimi, Kimi, Kimi. Đấy là QR code inline NP. X convect. Bây giờ mình sẽ deploy cái bản của Kimi và mình test thử xem là ok không,
13:18 có hiển thị được cái QR code hay không. Rồi bây giờ mình thử purchase nào. Purchase Kimy. Đấy thì mình thấy Kimi làm cũng ok đấy. Thế này là cũng được rồi. Giờ mình thử các bạn khác xem như thế nào nhé. Ok, vừa rồi là Kimy ơ nhầm rồi. Ôi [khịt mũi] à cái gì đây? Vừa rồi là Kimy này. Mình đang ở đâu ấ
14:04 nhở? lại quên mất rồi. Ừ. C này tre glm đi xem nào. Convect đẹp. Convect tuyệt vời luôn. Convect ready. Rồi test lại nào. Purchase cũng là ok luôn. Ờ còn một bạn nữa đấy là bạn Minimk.
14:49 Khả năng là cái bài test này của mình nó quá là đơn giản muỗi chưa là gì cả. Rồi ờ thử lại với Minim nhá. Purchase cũng quá là đơn giản luôn, không có vấn đề gì hết. Ok. Vậy thì về gọi là cái hoàn thành một cái bài à test đơn giản thì cả ba bạn này đều ok. Nhưng cá nhân mình sau khi xem cái BM xong cũng như là xem cái chất lượng viết code thực tế với cái code B của mình
15:36 thì mình có phần nào đấy mình nghiêng về Minimax Kimi 2.5 có thể là ở file pass này thôi nhá. ờ nó đã bị khoan tai xuống rồi. Thế nên là nó có cái tốc độ nhanh như vậy. Và mình thấy là cũng hơi ẩu một chút trong cái khoảng 7 đô một tuần trong khi Minim là 10 đô 1 tháng thì rõ ràng là Minimx đang có một cái giá tốt hơn ờ độ ổn định cao hơn. Về thời gian thì cũng khá là ok. một tiếng đây này. Trong khi GLM chậm
16:24 Yeah, chậm thôi. Có thể là kỳ cạch là một cái việc gì đấy thì cũng cũng cũng à Ok. Vậy thôi. Ờ video này nó không phải là một cái lời khuyên nào đâu nha. Ờ mình mình test mấy cái model ờ các cái model Trung Quốc này như một cái sự lựa chọn có thể là sắp tới khi mà chúng ta rơi vào những cái tình trạng khó khăn hơn mình sẽ phải tìm đến những cái nhà cung cấp có cái giá hợp lý hơn. Hiện tại thì mình vẫn đang dùng Codex về Open AI. Ok cảm ơn các bạn đã xem video. Nếu các bạn thấy hay thì nhớ like, subscribe cũng như là đón chơ ở những video khác từ mình. Xin cảm ơn.
