随着生成式AI技术的快速发展,搜索引擎正经历一场深刻的变革,逐步进化为智能生产工具。生成式AI搜索的兴起,为搜索引擎行业带来新的增长空间。传统的搜索引擎主要依赖关键词匹配,向用户展示一系列相关链接,而生成式AI搜索正在颠覆这一模式。它不仅具备对语义和上下文的深刻理解能力,更能直接生成精确无误的答案,为用户提供前所未有的高效、便捷的搜索体验。本文将介绍生成式AI搜索的产品形态、技术原理、市场竞争格局,并浅析其未来发展趋势和面临的挑战。
1、生成式AI搜索产品概述
在搜索引擎的演进历程中,用户从PC端搜索向移动端APP内搜索迁移,而当前大模型技术的应用更是将搜索转变为一种开放式、生成式的智能问答和多轮交互过程,显著增强了交互性和智能性。传统搜索引擎在结果准确性、用户语境理解、实时更新及生成式AI技术应用等方面存在局限。进入生成式AI搜索阶段,搜索以用户为中心,注重准确理解搜索意图,力求实现无缝衔接的端到端任务处理,具备语义理解、个性化推荐、跨模态及跨语言检索、内容生成等功能。
生成式AI搜索产品主要类型包括:
一是互联网搜索。互联网搜索是当前生成式AI搜索引擎的一种重要形式,它主要面向互联网上的海量公开信息进行搜索。这类搜索引擎包括传统搜索引擎的升级版本,如百度(百度搜索AI探索版)、微软(NewBing)、谷歌(Bard)。同时,也涵盖了一些基于对话式的创新AI搜索应用,如Perplexity AI、秘塔AI,这些平台通过技术与用户体验深度融合,不断通过创新功能吸引用户,并试图挑战传统搜索引擎的地位。
二是平台内嵌搜索。平台内嵌搜索是另一种常见的生成式AI搜索引擎类型。它通常作为平台的一个功能模块存在,专门用于搜索平台内的私有数据。这类搜索引擎的核心优势在于能够利用平台积累的大量用户行为数据、偏好、历史搜索记录等信息,为用户提供定制化的搜索结果。如小红书的达芬奇,通过AI技术分析用户的偏好和需求,优化搜索结果,提供精准的内容推荐。
三是企业内部搜索。企业内部搜索是生成式AI搜索引擎在企业级应用中的体现。它主要处理企业的内部数据,如文档、邮件、报告等非结构化数据。这些数据通常对于企业的运营和决策至关重要,但由于数量庞大且格式多样,传统的搜索方法往往难以有效地提取和利用这些信息。AI搜索通过对这些数据的深入理解和处理,能够帮助企业员工更高效地从海量的企业内部数据中提取所需信息,从而提升工作效率和决策质量。
2、核心技术原理
生成式AI搜索引擎的核心技术包括自然语言处理(NLP)、深度学习和知识图谱等。这些技术使得AI能够理解查询的语义,跨越关键词匹配的局限,通过上下文关联为用户提供更为精准的答案。其通过以下几个步骤来实现其功能:
①理解查询意图:利用自然语言处理技术,准确理解用户查询的意图,突破传统关键词匹配局限。
②检索并处理数据:通过访问大量数据源,结合知识图谱或数据库,快速从中筛选出相关信息。
③生成回答:结合基于大模型的生成式AI技术,对结查询结果进行总结,生成自然语言的回答,而非简单的链接列表。
④个性化推荐:根据用户的历史行为、偏好和上下文,定制个性化的搜索结果。
生成式AI搜索引擎通过深度整合传统搜索引擎与AI语义理解技术,结合特定领域数据源与索引库,借助大模型生成能力,提供高效精准的搜索解决方案,尤其在处理复杂查询时展现出超越传统搜索的优势。其核心竞争力在于数据质量与数量,而自建索引库对于确保内容准确性与时效性至关重要,是提升生成式AI搜索准确性的关键。
图1 传统搜索处理流程与AI搜索处理流程对比
生成式AI搜索的底层机制基于“检索增强生成”(RAG),结合传统搜索引擎API与自建索引库的检索,并通过大模型进行内容阅读与总结归纳,直接提供用户答案。当前生成式AI搜索产品多依赖传统搜索引擎API作为互联网数据支持,但不是所有传统搜索引擎都开放接口,大部分创业企业都是使用了Bing的对外接口,如Perplexity、秘塔、链企等,国内如百度和360都不开放API接口。同时,利用生成式大模型如ChatGPT等API进行推理与生成,根据不同业务场景进行问题的语义理解、分流、流程设计,选择每个场景或流程最适合的大小模型来推理或生成,如360一次AI搜索有9次大模型的调用。AI搜索创业公司大部分会有一些自己特定领域的数据源和索引库,来增加自己的差异化竞争力。比如秘塔AI的播客和文库、360改造了原来的搜索索引库等。
3、市场竞争格局
随着人工智能技术的不断发展,“生成式人工智能+搜索引擎”成为一条新赛道,竞争日益激烈。搜索引擎市场涌现出多种多样的产品和应用,形成了一个生机勃勃的产业生态。各参与者从不同层面切入,力求占据一席之地。
传统搜索引擎厂商:通过整合AI技术,优化传统搜索体验,凭借其在技术、数据、资金等方面的优势,扩大其在生成式AI领域的竞争优势,同时在 AI 搜索市场占据重要地位。微软将ChatGPT与搜索引擎整合推出“新必应”,首次展示了生成式人工智能在搜索领域的应用实践和发展前景;百度推出“文心一言”并整合到搜索服务中。
大模型厂商:凭借生成式AI技术进入搜索领域,推出结合对话与搜索的工具,依赖强大的技术能力,为AI搜索提供核心算法支持。如OpenAI推出的AI搜索工具SearchGPT,可以实时访问来自互联网的信息,旨在为用户提供更具时效性和更准确的信息。月之暗面推出“Kimi探索版”,在用户输入关键字或一个问题进行搜索时,主页面显示的是AI生成的总结回答,而页面右侧是“网页搜索”栏,展示了包括图片、AI阅读的网页来源。
互联网厂商:依托其深厚的应用基础与优势,密集布局生成式AI搜索,众多应用纷纷推出与AI搜索紧密相关的服务。例如知乎AI搜索产品知乎直答上线专业搜索功能;快手APP的搜索栏内上线“智能问答”服务,由AI帮助用户搜索和回答相关问题。甚至同一公司的不同部门也在争相推出各自的AI搜索产品。例如,字节跳动旗下的抖音、今日头条和飞书分别针对不同的用户需求与场景进行探索。飞书通过开发本地搜索引擎,提升用户在信息查找时的便捷性,而抖音电商则借助AI技术优化其导购搜索功能。
创业公司:以创新的用户体验和快速迭代能力崛起,为搜索市场注入新活力,满足个性化和专业化需求。例如,夸克以其简约化的产品设计、一站式服务以及在垂类细分场景的优秀表现,受到了用户的广泛关注和喜爱;Perplexity 等厂商也通过独特的技术和产品特点,在 AI 搜索市场占据了一席之地。
4、生成式AI搜索未来展望
AI 技术与应用的集中爆发让生成式AI 搜索行业迈入高速发展的新阶,随着创新产品持续涌现,生成式AI搜索正逐步重塑传统搜索引擎的市场格局。据Gartner预测,到2026年,传统搜索引擎的访问量可能下降25%,而AI搜索产品的用户将快速增长,逐步逼近超级APP的用户阈值。同时,生成式AI搜索产品形态迎来升级,搜索引擎不再仅仅局限于信息获取工具的角色,而是向信息一体化处理产品形态跃迁,致力于实现跨模态搜索体验。未来,生成式AI搜索将集搜索、整合、提炼、创作等多功能于一体,成为全能型的智能助手,引领行业的新标杆。
尽管生成式AI搜索引擎展现出广阔的市场前景,但其发展仍面临诸多挑战。从技术层面看,国内产品在技术成熟度、原创性及创新能力上,相较于国外同类产品存在显著差距。市场维度上,商业化路径尚在探索之中,尚未形成成熟的商业模式,加之算力需求的急剧增长,带来了严峻的成本挑战。在数据方面,高质量数据的获取与处理技术的不足,已成为制约生成式AI搜索技术进一步发展的关键瓶颈。在安全领域,数据隐私和安全问题备受用户关注,搜索结果的权威性与准确性、用户隐私保护及内容真实性等问题亟待解决。
[参考文献]
[1] 盘点国内可用的AI搜索引擎
[2] 《AI搜索行业发展报告》赛迪研究院
[3] 大厂竞赛AI搜索,押注下一个“百度”
[4] OpenAI发布AI搜索原型SearchGPT,正面对垒谷歌
[5] 拆解SearchGPT后,我们发现了AI搜索的壁垒、突破和未来
[6] AI搜索专题报告:大模型商业落地“第一束光”
[7] 【原创研究】崛起,生成式AI搜索
作者:陈梦瑶
单位:中国移动研究院