0:00 Xin chào tất cả mọi người. Chào mừng các bạn đã quay trở lại với kênh của mình. thì cũng đã một khoảng thời gian khá là lâu rồi mình chưa ra video mới. Thì nguyên nhân nó đến từ việc là cái CPU của mình nó bị hỏng cái VA cho nên là mình phải mang nó đi sửa chữa cũng như là bảo hành thì cũng sắp xỉ 1 tháng thì nó mới bắt đầu hoạt động hò hòm trở lại. Cho nên là mình sẽ bắt đầu quay trở lại công việc là làm những cái video về automation và đặc biệt là liên quan tới NSN để có thể chia sẻ đến cho các bạn có thể tham khảo. Và đặc biệt là vào cuối video này sẽ có một cái chương trình giveaway thì mình hy vọng các bạn có thể tham gia phần thưởng. Đó sẽ là ba cái ừ phần quà gọi là Enterprise Cloud này có thời hạn sử dụng trong vòng 6 tháng với cấu hình là 4 CPU, 8 GB RAM và 50 GB bộ
0:45 nhớ như thế này. Thì với cái phần quà này các bạn hoàn toàn có thể tự sale hot Docker để mà có thể chạy những cái luồng automation từ đồng hóa NSN trên này một cách là hoàn toàn miễn phí. Thay vì là chúng ta có thể là đi sử dụng cloud chính chủ hoặc là đi thuê VPS bên ngoài thì bây giờ các bạn hoàn toàn có thể sử dụng cái này. Chi phí của nó là à 774.000 một tháng. Có nghĩa là với 6 tháng sử dụng thì cái một slot phần quà này nó rơi vào đâu đó khoảng là 4,2 triệu. Và mình sẽ có ba slot như vậy ha. Và chi tiết thể lệ thì mình sẽ để ở cái phần mô tả description khi mà cái video này nó kết thúc ha. Rồi bây giờ sẽ quay lại cái nội dung chính ngày hôm nay. Thì cái bối cảnh tại sao chúng ta lại làm việc này thì các bạn hãy thử hình dung
1:31 là chúng ta đang bắt tay vào việc xây dựng một con chatbot cho chăm sóc khách hàng hoặc là cho nội bộ. Và sau khi mà xây dựng xong ấy các bạn đôi khi các bạn sẽ test thủ công bằng cách là chat và xem nó phản hồi để xem là nó có phản hồi ok hay không. Tuy nhiên công việc đó thì nó sẽ hơi mất thời gian và đôi khi là các bạn sẽ không có được một cái nhìn tổng quan nhất là liệu rằng cái cách mà chúng ta xây dựng câu chatbot cái cách mà chúng ta training dữ liệu trên vector này hoặc là nó phản hồi như vậy đã ok hay chưa? Thì chính vì vậy là thằng NSN này nó có một cái công cụ mà mình đánh giá khá là hay đó là thằng evaluation này. Đấy thì cái cách thức để mà chúng ta setup nó sẽ là như thế nào? Đầu tiên là chúng ta sẽ chuẩn bị một cái bản tính. Cái bản tính này thì hiện tại cái
2:17 note này nó đang hỗ trợ hai cái giao diện. Thứ nhất là giao diện ở trên Google Sheet ha. Và cái thứ hai là giao diện table trực tiếp ở trong cái NSN luôn. Thì các bạn sử dụng cái nào cũng được. Thì hiện tại mình đang sử dụng cái thằng Google Sheet này ha. Thì chắc chắn là để sử dụng Google Sheet thì chúng ta sẽ phải tiến hành credential. Thì đối với những bạn mà đã quen cái này rồi thì chắc là không thành vấn đề. Còn nếu như là các bạn là lần đầu tiên xem kênh của mình thì các bạn có thể xem lại một playlist dành cho người mới cái video số 3 thì mình có hướng dẫn cái phần này khá là chi tiết ha. Về cấu trúc cái bảng mà chúng ta chuẩn bị thì nó khá là đơn giản thôi. Nó sẽ gồm là question, tức là cái cột đầu tiên là câu hỏi và cột thứ hai là cái câu trả lời mà chúng ta kỳ vọng con boss nó sẽ phản hồi. Và sau đó nhiệm vụ chúng ta là
3:03 sẽ đưa toàn bộ những cái thông tin này lên trên một cái nền tảng vector database có thể là Superbase, có thể là Ben, cũng có thể là Redis. Các bạn có thể chọn bất cứ cái nào cũng được ha. Thì ở đây là mình sử dụng cái thằng Superbase này. Thì mình cũng đã từng làm một cái video liên quan tới cái nền tảng vector database bon cách thức để mà training cho chatbot học đâu đó 100 cái tài liệu. Đấy thì các bạn có thể tìm xem lại cái video đó. Và bây giờ là cái nốt này nó sẽ giúp chúng ta lần lượt móc ra từng câu hỏi này và để cho AI agent trả lời. Có nghĩa là đó nó sẽ sinh ra một câu trả lời thực tế và nó sẽ cập nhật vào đây và sẽ có thêm một cái nốt gọi là evaluation khác. Tức là cái nốt đánh giá này, nhiệm vụ của cái nốt này nó sẽ đánh giá cái câu phản hồi thực tế của con AI
3:50 Asi này. Với cái câu trả lời được kỳ vọng ấy là nó có tốt hay không và nó sẽ chấm điểm dựa trên thang điểm năm. Đấy, tức là nếu mà câu trả lời từ 4 tới 5 điểm thì sẽ khá là ok. Còn từ ba điểm trở xuống thì chúng ta khả năng là chúng ta sẽ phải tối ưu lại. Rồi bây giờ thì mình sẽ đi vào chi tiết từng nốt để các bạn có thể hình dung ha. Thì đầu tiên là cái note này thì chúng ta sẽ các bạn cứ vào đây này gõ này đấy nó là cái này và nó chính là trigger cái này when fetching đấy các bạn chọn cái này ha và chúng ta sẽ chọn là Google Sheet và chắc chắn là chúng ta sẽ phải tiến hành credential và sau đó các bạn sẽ chọn một cái bảng tính mà các bạn muốn thực hiện đấy. Rồi
4:37 và sau đó các bạn cấu hình giống như mình là được. Ở cái chỗ này thì mình sẽ tiến hành thêm một cái bộ lọc. Bộ lọc này đơn giản đó là nó sẽ bỏ qua những cái câu mà nó đã đánh giá rồi. Giả sử là trong tương lai các bạn cập nhật thêm những cái câu hỏi mới và các bạn cần nó đánh giá tiếp ấy thì nó sẽ đánh giá những cái đó thay vì là nó quay lại những câu hỏi cũ ha. Rồi và ở đây là AI agent khá là đơn giản thôi. Mình chỉ yêu cầu nó một cái tác vụ duy nhất đó là hãy sử dụng công cụ Vector database chính là thằng này để mà nó có thể đưa ra nhà câu phản hồi và model mình sử dụng là 4.1 mini. Kế đến chúng ta sẽ sử dụng một thằng evaluation khác. Đây thì chúng ta cứ gõ như thế này thôi là các bạn chọn set matrix ha. Thì ở đây này các bạn sẽ cứ để nguyên cái prom này cũng được. Đây đây là cách thức mình setting ha. Matrix name sẽ là
5:23 score. Các bạn có thể thay đổi cũng được nhưng mà tốt nhất là giữ nguyên. Thì ở đây nó sẽ có hai chỗ các bạn cần kéo vào. Thứ nhất đó là cái output thực tế. Cái output thực tế khi mà con AI agent nó trả ra thì các bạn kéo vào đây. Tức là đây là actual answer, tức là câu phản hồi mà con chatbot này nó sẽ đưa ra khi mà nó nhận cái câu hỏi đó. Rồi và chúng ta cũng sẽ kéo thêm một cái câu khác nữa đó là expect answer, tức là câu trả lời mà chúng ta kỳ vọng con boss nó phản hồi để nó đưa vào đây. Và cái note evaluation này cũng sẽ được gắn một cái model AI và nhiệm vụ của cái nhóm này nó sẽ đánh giá xem là cái câu phản hồi đưa ra đó so với cái câu trả lời mà chúng ta kỳ vọng nó khớp hay không và nó chấm điểm là bao nhiêu. Đấy và toàn bộ những
6:10 cái nội dung đó nó sẽ được cập nhật vào chỗ này. Đấy thì cơ bản cái logic luồng nà là nó như vậy. Nó cũng khá là đơn giản và không quá phức tạp đúng không? Thì bây giờ mình sẽ cho nó chạy để các bạn có thể hình dung ha. Đây các bạn sẽ thấy nè, nó sẽ lần lượt kéo ra những cái thông tin từ trong này và nó bắt đầu tiến hành xử lý. Các bạn cũng có thể thấy là nó truy vấn vào đây này. Và nó đã trả lời xong rồi. Và nó sẽ cập nhật vào đây. [âm nhạc] Đấy các bạn sẽ thấy nè. Đây là câu trả lời thực tế của nó khi mà nó nhận được
6:56 câu hỏi như thế này và thang điểm là 4/5 khá là tốt tương ứng là khoảng 8 điểm và chúng ta sẽ chờ nó chạy hết toàn bộ những cái câu phản hồi trong này nhé. Và như vậy là nó đã chạy xong. Và khi mà các bạn vào ở trong cái giao diện của NSN ấy, các bạn sẽ thấy nó có một cái nút là evaluation thì các bạn sẽ ấn vào đây và nó sẽ hiển thị lại cái ghi chép lịch sử đánh giá mà nó đã chạy. Kết quả nó như thế nào. Tức là token các bạn tiêu hao này ờ gọi là tổng số điểm thực tế trung bình cho tất cả các câu phản hồi đưa ra là khoảng bao nhiêu điểm. Thì ở đây là có vẻ như cái mới nhất thì nó chưa được cập nhật lên đây. Đây là lúc mình test là vào ngày 3 tháng 12 thì số điểm là khoảng 4.8 nó khá là ok ha. Và
7:41 với cái kết quả này thì các bạn có thể thấy các bạn hãy nhìn vào những cái phần màu đỏ. Thì để mà làm cái màu đỏ này thì mình sử dụng cái tính năng gọi là conditional format của thằng Google Sheet thôi. Và mình nói là khi mà cái này nó nhỏ hơn hoặc bằng 3 ở cột D1 trở đi nôm nay là từ cột D trở đi thì nó sẽ highlight lên màu đó. Tức là ở cái câu này cái nội dung mà con boss nó phản hồi đưa ra nó đang chưa được tốt. Đấy thì bây giờ mình hãy cùng xem một chút này. Ví dụ như là ở câu hỏi này hỏi về thông tin dịch vụ tiện ích của cơ sở thì ở đây câu trả lời thì lại đưa ra là đây là tiện ích của một cái chi nhánh ở tầng bốn như thế này thì thằng này nó lại phản hồi là tất cả các chi nhánh luôn. Các bạn có thể thấy là gần như là tất cả các chi nhánh nhưng mà lại không có tầng bốn. Đấy, đây là một điều là cực kỳ là
8:28 sai lệch thông tin này. Và bây giờ lại tiếp tục ở cái chỗ này thì lần này lại cái câu trả lời kỳ vọng thì lại là nói ở một cái địa chỉ là khu liên hợp thể thao. Thì ở trong này lại không có cái khu liên hợp thể thao đó. Đấy, thì vấn đề đây nhanh chóng là các bạn có thể nhận diện à có vẻ như là à cái câu trả lời kỳ vọng này ấ nó đang mô tả cụ thể cho một địa điểm trong khi câu hỏi này nó lại đang khá là chung chung. Cho nên ấy thì chúng ta sẽ tiến hành làm một cái bước test thứ hai. Có nghĩa là khi mà cái dữ kiện này có vấn đề, thứ nhất các bạn sẽ phải chỉnh sửa lại nội dung câu hỏi nó chi tiết hơn này. Cái thứ hai là các bạn sẽ chỉnh sửa prom ở trong cái phần của con AI Aion. Và cái thứ ba là các bạn cũng có thể chỉnh sửa model. Tức là chúng ta sẽ có thể thay thế bằng ba cái
9:13 phần đó ha. Và sau khi mà thay thế các bạn hãy note vào đây và chúng ta tiếp tục đánh giá ha. Giả sử ở đây nè mình note ở đây nè. Tức là lần này mình sử dụng version là Open 4.1 mini. Tức là đây là chúng ta sẽ note ghi chép mà các bạn đã sử dụng trước đó nó như thế nào. Note model này. Note model này. Rồi note system prom này. Note system prom thì các bạn cứ copy vào đây ha. thì nó sẽ giúp cho các bạn rất là tiện trong cái việc thống kê lại sau này. Đấy thì giả sử đây là dữ kiện của cái lần đầu tiên thì các bạn sẽ tiếp tục dán vào đây. Nhưng mà lần này các bạn hãy chỉnh sửa lại những cái câu hỏi mà
10:00 nó đang bị lỗi như thế này. Giả sử là thông tin dịch vụ tiện ích thì chúng ta sẽ thêm vào đây là tại chỗ này [âm nhạc] của cơ sở ở có đặc điểm gì đó có nghĩa là chúng ta đang gặp vấn đề về mức độ à chi tiết của câu hỏi hoặc là câu phản hồi và các bạn tiếp tục lặp lại như vậy và lần này giả sử các bạn sẽ thay đổi nội dung ở đây đó là Ờ note thêm này. Nốt thêm ở đây là mình vẫn giữ nguyên là 4.1 và sử dụng cái này. Chỉ có một cái là chúng ta mô tả chi tiết câu hỏi hơn thôi. Đấy thì các bạn hãy test như thế này
10:45 nhiều lần và chúng ta sau khi mà test xong ấy các bạn hãy sử dụng một cái tính năng giả sử là by table nna là nó sẽ giúp cho chúng ta thống kê xem đâu là những câu hỏi mà cái tần suất nó đưa ra cái phản hồi là nó bị thấp nhất chẳng hạn. Tức là cái câu hỏi đó nó đang gặp vấn đề rất là nhiều. Kể cả là khi các bạn tối ưu prom này, thay đổi model hoặc là ờ đưa thông tin câu hỏi nó chi tiết hơn mà nó vẫn gặp vấn đề thì lúc đó các bạn hãy cân nhắc à nghiên cứu thật là kỹ những cái phần đó trước khi là chúng ta đưa ra cái môi trường thực tế production. Đấy thì đây là một cái kinh nghiệm mà mình muốn chia sẻ đến các bạn một cái công cụ nó rất là đơn giản. Các bạn thấy là hoàn toàn cấu hình nó không có hề phức tạp. Nhưng mà mình tin ấy khi mà giả sử các bạn, đặc biệt là các bạn xây dựng ra những cái con chatbot ấy mà các bạn muốn đem lại trải nghiệm tốt cho
11:31 khách hàng thì cái việc mà nó đưa ra phản hồi đúng này và xúc tích và phù hợp với những cái đặc tính của thương hiệu là nó cực kỳ quan trọng. Tránh những cái thông tin sai như thế này thì đây mới là thông tin sai về địa chỉ thôi. Còn giả sử là thông tin sai về giá tiền này, doanh thu này thì nó sẽ cực kỳ là nguy hiểm. Đấy cho nên là mình hy vọng ấy là các bạn sau này khi mà xây dựng ra những cái luồng chatbot hoặc là những cái trợ lý tự động thông minh mà phản hồi theo những cái tài liệu có sẵn các bạn có thể xây dựng ra thêm một cái luồng như thế này để đánh giá và có một cái nhìn nó khách quan hơn là liệu rằng là chúng ta đã thật sự là xây ra được một con chatbot nó ok hay chưa. Đấy thì nôm na nội dung của video ngày hôm nay là như vậy thì hy vọng nó sẽ giúp ích được cho mọi người. Và một lát nữa mình sẽ để lại một cái form ở trong phần mô tả để các
12:18 bạn có thể tham gia chương trình giveaway mà mình đã đề cập ở đầu video. Thì nôm na các bạn chỉ cần cập nhật lại số điện thoại và email của mình vào trong form đăng ký thôi để mà trong trường hợp các bạn trúng thưởng thì mình cũng như là người của bên ban tổ chức có thể liên hệ để mà trao tặng phân hoàng để cho các bạn. Xin chào và hẹn gặp lại các bạn trong những video lần sau. [âm nhạc]
