比如,你想知道“如何做蛋糕”,只需在这个网站上输入这个问题,它就会找到相关的视频来帮你解答。
更牛P的是,你还可以跟视频进行对话,就像跟一个人聊天一样,还能帮你总结视频内容。
最牛P的是他把这个项目开源了…
该搜索引擎使用语义搜索来根据用户的查询找到相关的视频片段。
截至目前,网站已经索引了约 276556 分钟(约 17245 个YouTube视频)的内容。
项目计划增加对 TikTok 视频的索引,使用 whisper 来转录没有字幕的视频,并自动抓取 YouTube 和 Tiktok 的内容以添加新视频。同时添加一个页面来查看所有活跃的聊天。
关于演示视频:估计是演示网站还比较粗糙,我登录了几次显示成功了,但是并没有成功,导致无法演示聊天和总结功能!
主要技术原理:
1、视频存储:从YouTube视频中提取视频的转录文本,即视频中所说话的内容。
这些转录文本被分成小块,每块都有一个时间戳,标记这段话在视频中出现的时间。
分块的依据是 Hugging Face 提供的一个特定的维度大小,这可能是指使用某种算法或模型来确定如何分割文本。
2、搜索功能:用户可以通过提出问题来搜索视频。
系统使用一种叫做“向量余弦搜索”的技术,这可能是指利用机器学习算法来找到与用户问题最相关的视频内容。
对于每个搜索结果的视频,系统会进行第二次搜索,目的是在视频中找到与用户问题最相关的具体片段。
3、摘要和聊天:视频的转录文本会被发送到一个叫做 JigsawStack 的API,这个API会生成视频内容的摘要,可能是以点形式列出关键信息,也可能是连贯的文本摘要。
JigsawStack API 还负责创建和管理聊天会话。在这些会话中,根据用户的问题,系统会发送与问题相关的视频片段。
网站:https://avse.vercel.app
GitHub:https://github.com/yoeven/ai-video-search-engine