Tìm hiểu và triển khai Open Notebook, phiên bản local của Notebook LM - Mì AI

Mì AI www.youtube.com

Tóm tắt nhanh

Video giới thiệu về Notebook LM in Local, một giải pháp mã nguồn mở tương tự như Google Notebook LM nhưng chạy trên máy tính cá nhân, giúp đảm bảo quyền riêng tư và khả năng tùy chỉnh cao hơn. Video so sánh Open Notebook với Google Notebook LM, hướng dẫn cài đặt và sử dụng Open Notebook với cả Open AI API và model tự host trên máy chủ GPU.

  • Open Notebook là giải pháp mã nguồn mở cho phép chạy Notebook LM trên máy tính cá nhân, đảm bảo quyền riêng tư và khả năng tùy chỉnh.
  • Video hướng dẫn cài đặt và sử dụng Open Notebook với cả Open AI API và model tự host trên máy chủ GPU.
  • So sánh Open Notebook với Google Notebook LM về các khía cạnh như quyền riêng tư, khả năng tùy chỉnh, và chi phí.

Giới thiệu về Notebook LM in Local

Video giới thiệu về Notebook LM in Local, một công cụ mã nguồn mở tương tự như Google Notebook LM nhưng chạy trực tiếp trên máy tính của người dùng. Điều này giúp giải quyết các vấn đề về bảo mật dữ liệu và quyền riêng tư khi sử dụng các dịch vụ đám mây. Notebook LM in Local cho phép người dùng tải tài liệu lên, nghiên cứu, và trò chuyện với tài liệu đó mà không lo lắng về việc dữ liệu bị lộ ra ngoài.

Các vấn đề với Google Notebook LM và giải pháp Open Notebook

Google Notebook LM có một số hạn chế, đặc biệt đối với người dùng doanh nghiệp hoặc những người làm việc với dữ liệu nhạy cảm. Các vấn đề bao gồm: lo ngại về quyền riêng tư dữ liệu do phải tải dữ liệu lên Google, hạn chế về khả năng kiểm soát và tùy chỉnh (ví dụ: không thể chọn ngôn ngữ, model AI, hoặc phân quyền), và sự phụ thuộc vào hệ sinh thái của Google. Open Notebook ra đời như một giải pháp thay thế, cho phép người dùng tự quản lý dữ liệu của mình và tùy chỉnh công cụ theo nhu cầu.

Ưu điểm của Open Notebook

Open Notebook tập trung vào quyền riêng tư, cho phép người dùng kiểm soát dữ liệu của mình hoàn toàn. Nó cũng cung cấp khả năng tùy chỉnh cao, cho phép người dùng chọn model AI, thêm logo, tính năng, và sửa đổi mã nguồn. Open Notebook hỗ trợ nhiều nhà cung cấp AI khác nhau (Open AI, Antropic, Olama, v.v.) và có thể chạy trên máy chủ cá nhân, giúp giảm chi phí. Nó cũng hỗ trợ nhiều loại nội dung (PDF, video) và có các tính năng như tìm kiếm toàn văn bản và vector search.

So sánh Open Notebook và Google Notebook LM

Open Notebook có nhiều ưu điểm so với Google Notebook LM, bao gồm khả năng tự host, hỗ trợ nhiều provider AI, tùy chỉnh podcast, và không phụ thuộc vào một nhà cung cấp duy nhất. Mặc dù giao diện và tính năng có thể không bằng Google Notebook LM, Open Notebook mang lại sự linh hoạt và kiểm soát cao hơn cho người dùng.

Các thành phần chính của Open Notebook

Một hệ thống như Open Notebook bao gồm các thành phần chính sau: giao diện người dùng (UI), vector DB (ví dụ: Surio DB) để lưu trữ tài liệu đã được xử lý, model embedding để chuyển đổi tài liệu thành vector, và chat LLM để trả lời câu hỏi của người dùng.

Demo sử dụng Open Notebook với Open AI API

Phần này trình bày cách cài đặt và sử dụng Open Notebook với Open AI API. Video hướng dẫn thuê máy chủ GPU từ thuegpu.vn, cài đặt Docker, và cấu hình Open Notebook để sử dụng các model của Open AI (GPT 4.0 nano cho chat và text edding 3 small cho embedding). Sau đó, video demo cách thêm nguồn dữ liệu (text về ngân hàng SHB) và trò chuyện với Open Notebook để lấy thông tin từ nguồn dữ liệu đó.

Cài đặt Docker và Open Notebook

Hướng dẫn chi tiết cách cài đặt Docker trên máy chủ Ubuntu và sử dụng Docker để khởi động Open Notebook. Các lệnh cài đặt và cấu hình được cung cấp trong phần mô tả của video.

Cấu hình Open Notebook với Open AI API

Hướng dẫn cách cấu hình Open Notebook để sử dụng Open AI API bằng cách cung cấp API key và chọn các model phù hợp cho chat và embedding.

Demo tạo Notebook và chat với Open AI

Trình bày cách tạo một notebook mới, thêm nguồn dữ liệu (giới thiệu về ngân hàng SHB), và trò chuyện với notebook để lấy thông tin. Open Notebook có thể trả lời các câu hỏi dựa trên nguồn dữ liệu và cung cấp nguồn tham khảo.

Demo tạo Podcast (không thực hiện)

Video giới thiệu tính năng tạo podcast của Open Notebook, nhưng không demo do tốn nhiều thời gian và chi phí. Để tạo podcast, cần cấu hình các model text-to-speech và chọn template phù hợp.

Demo sử dụng Open Notebook với model tự host (VLM)

Phần này trình bày cách sử dụng Open Notebook với model tự host trên máy chủ GPU bằng VLM (vLLM). Video hướng dẫn cài đặt VLM, host model embedding (BGE) và model chat LM (Q) trên các cổng khác nhau, và cấu hình Open Notebook để sử dụng các model này.

Cài đặt VLM và host model

Hướng dẫn chi tiết cách cài đặt VLM và sử dụng VLM để host model embedding và model chat LM trên máy chủ GPU.

Cấu hình Open Notebook với model tự host

Hướng dẫn cách cấu hình Open Notebook để sử dụng model tự host bằng cách cung cấp base URL cho LLM và embedding.

Demo tạo Notebook và chat với model tự host

Trình bày cách tạo một notebook mới, thêm nguồn dữ liệu, và trò chuyện với notebook sử dụng model tự host. Open Notebook có thể trả lời các câu hỏi dựa trên nguồn dữ liệu và sử dụng model local để xử lý.

Summarize any YouTube video in seconds

Get summaries like this one for any video, in your language, with the free Summ app.

Download on the Apple Store
Get it on Google Play

Transcript

YouTube Transcript Generator

0:00 Hello anh em, chào mừng quay lại với Mai. Và hôm nay chúng ta sẽ cùng tìm hiểu một cái món mà mình để trên màn hình đấy là Notebook LM in Local đ chúng ta sẽ cùng tìm hiểu xem notebook LM in Local là cái gì, nó có những cái ưu điểm gì và tại sao chúng ta phải nghiên cứu nó nhá. Let's go. [âm nhạc] Ok, thì à cũng rất sorry anh em là 1 tháng rồi mới ra được một video đó. Thì anh em thông cảm cho mình. Đợt trước thì mình ra khá là đều nên đợt này thì bên ngân hàng nhà mình đang giai đoạn cuối năm ấy thì ngân hàng sẽ tổng hợp số liệu sẽ lên kế hoạch cho năm mới. Kế hoạch về nhân sự, kế hoạch về đào tạo, kế hoạch về CPEC, OPEC rất nhiều vân vân. Nên là mình bận quá nên là hôm nay mới dành một

0:46 chút thời gian. Đây vừa đi làm về phát là phải quay luôn chứ không là tí nữa lười. Ok nhá. Rồi thì anh em thông cảm giúp cho mình. Và anh em nào mà muốn tạo động lực cho mình ấy thì bấm like và đăng ký kênh ở bên dưới này. Phía dưới video nó có chữ đăng ký kênh ấy, bấm vào để ủng hộ mình để mình có nhiều động lực ra nhiều video hơn cho anh em nha. Rồi bây giờ chúng ta quay về chủ đề chính. Đó, trên màn hình mình đang để cái chữ là Google Notebook LM đúng không ạ? Thì ở trên MI mình đã có hai clip liền rồi. Mình giới thiệu về cái công cụ học tập nghiên cứu Notebook này rồi. Và chắc anh em cũng thạo nó rồi. Nó là một thứ để anh em up tài liệu vào. Sau đó anh em nghiên cứu anh em chat cheat trên cái tài liệu đấy và nó không bị lú là vì nó luôn trả lời base vào cái tài liệu của anh em. Đúng không ạ? Mình đã có hai video giới thiệu rồi thì mình cũng không nói lại nữa à và mình không không play

1:32 nữa. Đấy nhưng mà nó có mấy vấn đề sau nó phát sinh khi mà chúng ta dùng ờ Nob. Tất nhiên là trong những tình tình huống mà thông thường ví dụ cá nhân dùng ấy các bạn sẽ không quan tâm đâu. Thế nhưng mà khi mà chúng ta dùng ở level doanh nghiệp hoặc là chúng ta dùng với dữ liệu mà cá nhân thôi nhưng mà thực sự nhạy cảm đó thì chúng ta sẽ quan tâm. Đầu tiên là vấn đề về data privacy đúng không ạ? Là chúng ta sẽ làm gì? Chúng ta sẽ phải gửi dữ liệu của chúng ta lên trên Google. Thì một số bạn bảo ui giời Google nó to thế thì làm gì nó lo. Thế nhưng mà một số doanh nghiệp thì lại có quy định rõ ràng luôn là bạn không được upload tài liệu của doanh nghiệp lên trên bất kỳ nền tảng nào khác. Đó thế thôi. Thế thì dù có Google có dùng hay không thì chúng ta cũng sẽ bị vi phạm. Đó. Thứ hai là limited enterprise

2:18 control là nó lob là gì? Nó design cho individual user nên là nó không có chúng ta phép quản lý được à ừ. dùng ngôn ngữ nào, dùng model nào, lưu trữ ra sao, phân quyền như thế nào là không có. Đó và một cái vấn đề nữa đó là nó lim lag up customization and branding. Chúng ta sẽ không thể nào chỉnh sửa để nó thành cái brand của chúng ta được hay là cấu hình customiz được. Đó và nó phụ thuộc vào ecosystem của Google đúng không ạ? Nếu chúng ta mà dùng một cái hệ thái khác, dùng một cái nền tảng khác thì chúng ta sẽ không thể nào mà dùng được đúng không? Thế thì người ta mới tìm đến một cái giải pháp đó là same như notebook FM đó nhưng mà chạy local đó. Mã nguồn mở có tên là

3:05 Open Notebook. Đó một số bạn sẽ hỏi ngay là thế nó có ngon như em không? Đấy theo mình thì đánh giá thì mình dùng của mình không ngon bằng được. Cái giao diện cái tính năng cái ờ khả năng của nó sẽ không ngon bằng được nhưng nó là mã nguồn mở. Bạn hoàn toàn có thể lấy về bạn dùng. Đó thì nó đảm bảo là gì? Privacy focus. Đó là bạn sẽ được cái đầu tiên là cái privacy đã. Còn sau đó bạn thích thêm tính năng gì? Mã nguồn mở bạn mở ra bạn sửa. Bạn thêm logo, bạn thêm tính năng bạn thêm cái prom thêm cái gì đó tùy bạn. Đó được không? Thì cái hay của cái open là như vậy. Còn nếu bạn nào cái nhấn mạnh của người ta là privacy yên tâm là dữ liệu sẽ nằm hoàn toàn ở trên máy của bạn không gửi lên Google. Được

3:53 chưa ạ? Rồi thế đây là một số cái tính năng chính này mà cái cho phép bạn này là control data này chọn được AI model đó chạy được model nào đó vào đây họ họ hỗ trợ 16 cái provider như là Open AI, Antropic, Olama vân vân đó. Multi content đấy PDF video rất là xịn nhá như notebook luôn và có cũng sinh ra được podcast luôn đó. và cho phép tìm kiếm full text search và vector search đó chat luôn đó và tại sao họ có nói luôn tại sao bạn nên chọn open notebook là privacy first đó là chúng ta nên quan tâm về privacy code control đó chúng ta có thể là không phụ thuộc vào

4:38 Google mà chúng ta sẽ phải chọn những cái AI provider nào và rẻ dùng và thậm chí là có thể là chạy local sale host luôn cho nó rẻ hẳn đi đó nếu với bài toán mà không cần độ chính xác cao Đó rồi postcast thì chúng ta cũng customize được nhiều hơn so với cả bên trên kia ta đặc biệt là sau này bạn có mã nguồn bạn có thể sửa thêm prom và bạn thoải mái đó và tất nhiên là unlimit customization rồi mã nguồn mở tải về thích sửa thế nào thì sửa đó và no vendor login ok không phụ thuộc vào Google đó đây thì đây là một cái bảng so sánh nhanh giữa open notebook và Google em đó thì đây là bảng so sánh do open notebook họ viết ra nên là chắc chắc chắn là sẽ có những cái điểm advantage của họ rồi. Ví dụ mình sẽ

5:23 đi qua một vài điểm thôi nhá. Ví dụ như bên này thì SH, bên này là Google, bên này thì có 16 cái provider đó. Open AI, Olama, LM Studio. Bên này chỉ Google thôi. Đó, bên này là gì? Podcast có 1 đến bốn speaker thì bên này chỉ có hai. À rồi à có thể gọi được từ ứng dụng ngoài. Cái này không có. Ờ rồi open s và không. Cái này thì pay chỉ vào cái usage thôi. Còn cái này là phải pay subscription cộng với usage đó. Ok một vài cái điều vậy. Và bây giờ chúng ta sẽ cùng mổ sẻ là ok. Bây giờ tôi hiểu là Open Notebook là một cái để chạy local, chạy free có thể chỉnh sửa được. Vậy thì nó cần những cái gì ở

6:09 trong một cái hệ thống kiểu như book này nhá. Thì đầu tiên là một cái UI. Ở đây mình chỉ nói những thành phần chính thôi nhá. Còn chính thôi. Còn rất còn rất nhiều những thứ trong đấy. Ui là cái giao diện rồi đúng không ạ? Thì mình không nói thêm nữa. Giao diện của nó họ cung cấp sẵn rồi. Nhưng chúng ta sẽ quan tâm ba cái yếu tố ở dưới là một vector DB để lưu cái tài liệu của chúng ta. À cái tài liệu sau khi được trăng kingh ra và thành edding và lưu vào đấy. Thì ở trong cái giải pháp này họ dùng cái là Surio DB. Đó mình cũng chưa nghiên cứu cách đổi sang một cái à DB khác. Thế nhưng mà mình thấy cái này nó ngon quá mình vẫn không đổi nữa. Bạn nào mà tìm ra cách đổi thì comment ở dưới phần mô tả à phần bình luận để mọi người tham khảo và đổi nhá. Đó và một thứ hai là một cái gì? Một cái model edding đó để khi tài liệu trăng kinh ra thì dùng cái module này để

6:55 eding thành vecơ và nhét vào trong vectơ DB. Được chưa ạ? Rồi một cái chatom để làm gì? Để người dùng chat thì nó sẽ dùng cái chat này để nó respon lại cho người dùng. Được chưa ạ? Ok rồi, đó là cái thành phần chính mà chúng ta cần quan tâm khi mà chúng ta làm việc với một cái giống. Được chưa? Thế thì bây giờ chúng ta sẽ demo. Chúng ta sẽ demo chúng ta start cái cái cái thằng Open Notebook này lên và dùng thử xem nó như nào. Được chưa ạ? Thì do mình sẽ demo cả phần dùng à open AI. Đó, Open AI nghĩa là mình sẽ dùng Open AI để mình

7:40 cung cấp cả cái chat, LM và cái Mding thông qua Open AI, API. Và cái đó mình phải trả tiền, mình phải nhét cái token vào đúng không ạ? Thì mình sẽ dùng cả phương pháp đó và cả là mình sale host ở trên một cái máy chủ của GPU, một cái model bằng VLM. Đó, VLM này thì trên MAI cũng có rất nhiều clip rồi. Bạn có thể gõ Mai VLM sẽ có clip chi tiết về cách hosting model bằng cái VLM. Đó thì mình demo cả cách dùng mất tiền và cách dùng free cho các bạn nhá. Và để mà host được cái này thì mình có máy chủ có GPU thì mình đã thuê của bên thu.vn đó. Mình thuê sẵn máy chủ rồi. Và cũng cảm ơn hai nhà tài trợ. Đầu tiên là cảm ơn thuegp.vn đã tài trợ máy chủ có card A6000 luôn cho mình để mình à demo cho

8:27 các bạn. Đó. Cảm ơn thêm ồ cảm ơn thêm thêm chết rồi lại mất cái bút rồi. Cảm ơn thêm bạn Xử Minh Thành đã có cung cấp cho mình một cái open API key để mình chuyên dùng để làm video test cho các bạn nhá. Rồi ok. Ok. Ok bây giờ thì mình sẽ bắt đầu demo. Đây thì mình đã thuê của bên thuê GPU một cái máy chủ Ubuntu A6000 đây rồi. Đó bạn muốn tạo máy mới thì bạn cứ vào đây bạn tạo máy này. Có rất nhiều những máy các bạn phải chọn A40, A4000, A6000, V100 và RTX3090. Đó ở máy chủ trên này thì bác chủ bác đặt lên và xuống thường xuyên nên các bạn cứ vào

9:14 đây xem nhá. Còn mình đã thuê xong rồi. Bây giờ mình vào mình ấn xem để mình xem. Đó. Rồi đây thì là đây máy chủ của mình đây. Bộ nhớ là 224 m ổ cứng 1T đó. Và ok có IP rồi mình sẽ kết nối đây. Copy vào đây. Mình dùng phần mềm Tus để mình sh vào đây. Đó mình sẽ sửa cái IP sửa cái mật khẩu root. Ok. Đó thì sau khi mình S xong mình sẽ biết được là đây Nvidia Smi lệnh thần

9:59 thánh để xem GPU thì chúng ta sẽ có một cái GPU ở trên này đó 49 GB 48 GB gì đây. Ok rồi bây giờ mình sẽ bắt đầu từng bước một. Đầu tiên là mình sẽ cài docker nhá. Cài Docker để làm gì? cái docker để mình start cái open ờ notebook lên thì cách start có nhiều cách start đây bạn vào cái link của GitHub của bọn nó nhé. Đó có nhiều cách start đó ở dưới này như mình thì mình chọn cách start với docker vì đó là cách start đơn giản nhất. Đó còn dưới đây nhiều cách lắm đó. Action này build này. Release đâu rồi? install đó thì mình sẽ chọn cách là dùng doer để cho nó đơn giản nha. Đầu cái chỗ

10:45 mà nó hướng dẫn cách cài đâu rồi? Inst ủa sao hôm nào mà nhìn thấy cái link install nó rõ lắm mà hôm nay cái link install nó đâu rồi? Khoan lại anh em trước khi bắt đầu ấy thì anh em kéo rút bên xuống dưới này. Bên này có cái nút đăng ký kênh đó. Bấm cho mình đăng ký kênh, bật cho mình cái chuông thông báo để bạn luôn là người nhận được video mới nhất nhé. Và bên này này thì có nút like và nút share. Nếu bạn thấy video này hay hãy bấm like và share cho bạn bè nha. Cảm ơn các bạn. Đăng ký thì miễn phí nhưng M ai Ai thì rất vui khi bạn đăng ký. Rồi đây đây. Đấy Rme này có rất nhiều cách cài cắm ở trên này bạn xem

11:31 nhá. Đó thì bây giờ mình sẽ demo các bạn luôn trên máy chủ luôn. Bây giờ sẽ cài docker. Thì mình cái lệnh cài này ấy thì mình sẽ để ở phần mô tả và video. Đó nó có lệnh cài rồi. Mình chỉ copy mình pas đây là xong. Đó nó chạy rất là nhanh. Đây là cách cài đấu cờ đó các bạn. không phải quá lo đâu. Mình để một cái link đến GitHub repo của mình ở dưới phần mô tả bình luận của video. Vừa nãy là mình cài những cái ờ phụ trợ thôi. Bây giờ mới là cái lệnh cài Docker đây này. Đó, paste này. Enter này. Đó, mình viết sẵn rồi. Nó tự động cài tự động yes rồi. Mình không phải làm gì nữa rồi. Và sau khi nó cài xong thì để mình kiểm tra xem Docker đã cài thành công hay chưa đúng không? Thì

12:17 mình sẽ thêm một câu thôi. Pudo docker run hello đó. Nếu nó chạy được cái này thì chứng tỏ là đã cài rồi đó. Nó pulling về rồi. Pull xong nó hiện lên câu hello flocker. Như vậy là cài thành công rồi. Đấy thì bạn chuyển sang câu thứ hai cho mình là bây giờ mình sẽ bắt đầu start cái open notebook lên bằng cách docker. Thì bạn host name trừ y cho mình phát để biết được cái IP của máy này là nó có hai IP. Cái IP này là IP local. Bỏ qua lấy cái IP public này được chưa ạ? Sau đó mình sẽ c đoạn lệnh như sau đây. Giờ mình c này mình paste vào đây. Pte ở đây. Đó thì có hai thứ này. Cái IP mình bôi màu đỏ mình sẽ để ở đây nhá. Cái

13:02 lệnh này đoạn này mình cũng để ở dưới luôn. Các bạn để ý nó có mấy thứ. Một là cái open AI API key này là thứ mà mình sẽ demo chạy bằng model của Open AI. Và cái key này là mình được bạn sửa Minh Thành bạn ấy cho mình. Đó tí mình sẽ che cái phần key này đi tránh bị lội của bạn ấy nhá. Còn bạn sẽ chỉnh cái IP ở đây. Các thông tin khác để nguyên cho mình. Đó bạn để ý đây họ dùng cái su db này và enter. Đó nó sẽ tự p về tự chạy rất là nhanh. Đây trong lúc nó chạy thì bạn cho bạn xem đây đây là bảng pricing những cái model mà mình có thể dùng được qua open AI API và giá tiền bên cạnh luôn này. Đó input, output vân vân. Được chưa? Giá cả

13:47 rất là rõ ràng. Thì ở trong bài này mình sẽ dùng cái GPT 4.1 nano đó để làm model chatom. Và mình dùng cái tex edding 3 smo đây để làm cáiing. Có thể nó không chính xác nhưng mình để mình giá rẻ nhất để mình đỡ ảnh hưởng đến account của bạn Sử Minh Thành. Được chưa? Và cái suột mình test sẽ là suột này mình sẽ add một đoạn text về SSB đó để mình chá thử thôi. Đó rồi mình lên trên nào. Ok rồi đấy. Lúc này nó đã start lên rồi. Thế bây giờ các bạn hỏi là sẽ truy cập vào cái địa chỉ nào đúng không? Thì chính là cái địa chỉ của cái máy các bạn thôi. Đây mình vừa thuê ở bên GPU là đây đây cái IP của nó đây. Mình vừa lấy ở trên này đây. Đó được chưa? Thì mình sẽ copy mình truy cập vào đây. Đấy và cổng bao nhiêu?

14:34 Cổng 8502. Đó, openbook chưa? Đó, bây giờ mình sẽ thử dùng mình cấu hình một chút này vào setting này à vào model này. Đó, model thì nó mình đã nó hiện lên cái tích là open AI rồi là vì mình vừa mới cung cấp cái gì? Cái Open AI key cho nó. Bây giờ vào đây mình cấu hình model. Chat model mình sẽ chọn cái gì? À chat model mình sẽ đây add model ở dưới này. Add model đó mình chọn là open A2 và như mình vừa nói mình chọn cái gì nhỉ? GPT 4O nano đúng không? Đây GPT 4 nano đu vào đây add vào đây ấn Song thì ngay lập tức là trên này sẽ chọn được cái BO Nano đó.

15:19 Rồi cái transformation cũng chọn luôn còn cái gì embedding đâu rồi? Embeding đây. Chưa có thì mình sang bên này mình add một cái bộ embedding vào đó. Mình chọn cái gì? Text eding small được chưa? Đó add model rồi lên trên này chọn tiếp. Đó, như vậy là mình đã có được model chat, model transformation tool cũng chọn luôn này. Last context cũng text to speed cũng chưa có này. Đó, thì text to speed mình sẽ demo sau. Bây giờ mình sẽ demo phần text trước thôi. Rồi như vậy là đã là đã xong rồi đấy. Chúng ta đã cấu hình thành công model cho nó. Bây giờ mình ra phần notebook mình create new một cái nào. Notebook à test

16:08 à demo notebook open AI create rồi bấm vào đây. Bây giờ mình add source đó add new source đó nó cho mình link này upload file hoặc text thì để đơn giản mình copy và text cho nó nhanh nhá. Các bạn có thể nghịch với những cái kia mình giới thiệu thôi mà. Đó P vào đây. Đó và mình ghi vào đây là cái gì? Mô tả gì? giới thiệu về ngân hàng SSB đang rồi nó đang checking và đang ingel mình đã show vừa đấy. Đó mà đợi đã processing xong thì bắt đầu mình có thể playground mình chat luôn ở đây được nhá. Đang xử lý một chút đấy một lúc là sẽ xử lý xong thôi. Rồi xong rồi này. Bây giờ mình chat này.

16:56 Ngân hàng SHP thành lập khi nào? Send. Ok chưa? Đó, mình hỏi thêm một số thông tin khác nhá. Đặc biệt đó gì? Nó cũng cung cấp nguồn cho mình nhá. Đó, rất là xịn này. Bấm vào hiện ra luôn này. Đó, hỏi thêm một số thông tin. Ví dụ như là à SHB hiện có vốn điều lệ bao nhiêu? Đó, hoặc không mình hỏi như này, vốn điều lệ của cái ngân hàng này là bao nhiêu? Đó, hỏi cố tình hỏi lái đi một tí. trả lời không? 46 57 tỷ đồng. Chính xác đó. Ok chưa ạ? Thôi mình demo

17:42 ngắn gọn như vậy thôi. Tóm lại là có thể add được nguồn, có thể chat được bằng open AA. Đúng chưa ạ? Thế một số bạn sẽ bảo là thế podcast đâu? Đây podcast đây. Nếu bạn add note hai cái model text to speed vào đây thì bạn có thể làm được luôn là podcast luôn. Đó. Đây podcast này chọn cái gì nhỉ? Cái cái notebook mình cần tạo đây book test vào đây nhá. Xong rồi chọn cái template đấy họ đây chọn cho mình ba template là business analysis, solo expert và tex discussion đúng chưa? Thì bạn hỏi thế sửa những cái profile này ở đâu? Đây sang bên template này. Đó business panel này. Business analysis này. Solo expert này. Đó bạn có thể thêm đó profile mới. Bạn muốn làm về cái gì? bạn muốn bao

18:28 nhiêu đoạn rồi bao nhiêu người rồi các cái công cụ khác briefing ra sao đấy hoặc không bạn sửa những cái đài dặn có cũng được như solo expert này đó thì là gì nó có sẽ là tạo một cái giải thích giáo dục về cái nội dung được trình bày breakdown là chia những cái vấn đề phức tạp thành những cái đơn giản hơn v đó thì bạn sẽ tạo những cái prom ấy mà để cho nó dùng cái này và nó execute dựa trên dữ liệu của cái notebook Ví dụ như test và nó sinh ra cái podcast cho các bạn. Thì cái này mình sẽ không demo. Lý do là cái việc mà sinh ra podcast nó sẽ chạy khá là lâu và tốn khá nhiều chi phí. Đó các bạn tự nghịch nhá. Rồi bây giờ mình sẽ demo các bạn. Cái thứ hai là mình sẽ không dùng Open AI nữa. Mình host một cái model của riêng mình trên

19:16 máy chủ này. Sau đó mình dùng. Đó. Bây giờ mình sẽ stop cái docker lại nhá. Rồi stop rồi. Stop Docker rồi đó. Thì bây giờ mình sẽ làm gì? Mình sẽ cài VLM trước. Đó. Đây mình sẽ tạo hai cửa sổ đi. Đó. Một cửa sổ cài VLM. Đó. Đây cái cửa sổ đầu tiên này sẽ dùng để chạy cái docker. Hai cửa sổ sau một cái mình sẽ cài cái model host Vlm cái modeling và một cái cửa sổ mình sẽ host một cái model là LM chat LM. Được chưa ạ? Đây là mình demo nên mình mở nhiều cửa sổ này thôi. Còn trong thực tế các bạn sẽ gom tất cả những câu lệnh host đó vào một cái file bass và chạy ở dạng demon là dạng mà nó không cần phải mở màn hình

20:03 như này. Nhưng đây là mình demo các bạn mình mở nhiều màn hình để các bạn nắm được cái cấu trúc của nó. Bây giờ mình đang cài VLM trước. Rồi lúc này thì VLM đã cài đặt xong rồi. Bây giờ mình sẽ dùng cái màn hình này là VPS test 1 này để mình host cái gì? hết cái model edding và cái modeled mình dùng là model bg. Đó, model này có thể là một cái model không tốt lắm nhưng mà nó nhỏ nên mình demo nó dễ. Đấy, enter đó mình chỉ cần gõ lệnh này thôi. Tự VLM nó lên hacking face nó lấy về xong rồi nó seve. Rồi thì đây là hai cái lệnh để mình se đây là lệnh se cái model à gì nhỉ? Lệnh sub cái model à chờ mình mình clear màn hình cho nó dễ nhá. Đây đây là lệnh se cái model à edding đó

20:51 mình enter. Còn bên này là cái lệnh để mình se chat lm. Enter. Và ở cuối mình có để một cái tham số là GPU Memory Utilization 0,6 để nó chiếm 60% thôi, còn lại 40% để chạy. Đó. Thế còn bên này thì mình sẽ làm gì? thì mình sẽ stop cái a à vấn lại. Sau đó mình chạy một cái câu lệnh đó để mình stop lại tất cả. Lúc này bạn để ý câu lệnh chạy của nó nhá. Đây nó sẽ có mấy cái khác biệt này. Khác biệt đầu tiên là chúng ta sẽ làm gì? Đưa thêm cái base ulm vào. Đó chúng ta bỏ đi cái open AI key xịn. Chúng ta đưa vào cái open AI compatible key. Vào đây. Chúng ta đưa vào cái base URL llm để nó biết là nó gọi đến đâu để host. Đã host cái lm này

21:37 để nó dùng. Thì chính là cái máy này đây chúng ta vừa hot đây. Đúng chưa? Đó và tôi cần tìm cái modeling hot ở đâu thì cũng máy này nhưng mà cổng 801. Đó thì bạn để ý hai câu lệnh hot mình vừa chạy đó cùng trên máy này. Một cái chat là lm đây ở cổng 8000 và cái eding là 801. Đó. Rồi bây giờ mình run đó run một lúc thì mình sẽ vào đây mình refresh lại cho mình xem. model lên chưa? Lên chưa? Refres lại này. Đó. Rồi thì bây giờ mình chỉ vào đây mình là gì? Mình add cái ở đây mình add sẵn rồi mình xóa cho các bạn xem. Đó mình chỉ cần add hai cái model vào là đây. Ví dụ mình xóa tạm đi nhá. Đó xóa

22:25 đi này. Xóa hết đi để làm lại các bạn xem. Đó mình add model xong mình chọn là open AI compatible và mình chọn là Q. Mình vừa mới host cái Q mà. Đó thì mình đưa Q vào đây. Đó Q instruct vào đây. Đó và add model. Rồi edding thì cũng vậy. Mình vừa dùng cái model là by BGE thì cũng add model đó. Xong rồi chọn là open AI compatible và ấn vào đây add model. Đó sau mình lên trên mình chọn thôi. Đây chat model là Q transformation là cũng Q tool cũng qen. Mding thì chọn là buy

23:12 chin only rồi L contex Q. Đó và xong. Bây giờ mình quay về tạo notebook nào. Create new notebook nào. Notebook test local. Đó, create. Rồi bây giờ mình vẫn làm như vậy thôi. Add một cái suột mới và mình cũng dùng cái đoạn text này đi cho nó công bằng. Được chưa? Rồi. Ok. Đâu rồi? Đây text à và giới thiệu về ngân hàng SSB đă. Đó. Nó cũng lại checking cũng lại eding nhưng lần này nó dùng cái model local các bạn để ý nó chạy đấy nó chạy này đây local chạy rồi

23:57 đâu rồi đây đây đây đấy đấy đấy đây là model đồ local đó đang chạy được chưa đó rồi bây giờ mình sẽ chat thử này dùng q nhá đó ngân hàng thành lập năm nào enter có trả lời được không đó chuẩn rồi trả lời được luôn này đó mình hỏi Và thừ một cái khác. SB có bao nhiêu chữ cán bộ nhân viên? Đó cái này hơi khó một tí vì chữ cán bộ nhân viên viết là CBNV. Thử cho nhận giết được nhá. Đó. SB có bao nhiêu cán bộ nhân viên? 6651 đúng không? Đúng luôn mới giỏi chứ. Đây

24:43 là chữ CBNV nhá. Ok. Đó thì mình đã demo xong. Chúng ta có thể dùng được cả Open AI API. dùng được cả model sale host ở trên open notebook. Đó thì tất cả những cái script cài đặt hướng dẫn repo mình để hết ở phần mô tả bình luận các bạn tham khảo nhá. Rồi một lần nữa cảm ơn thuegu.vn tài trợ máy chủ. Cảm ơn bạn Sử Minh Thành tài trợ Open AI API. Và nếu bạn thấy clip này hay hãy cho một like và đăng ký kênh để ủng hộ để mình ra nhiều clip hơn nhá. Bye bye các bạn. Yeah.

Share

YouTube Video Summaries