亞馬遜云服務(wù)(AWS)宣布為其S3云對象存儲推出矢量存儲功能——S3 Vectors，該公司聲稱此舉可將AI存儲中矢量化數(shù)據(jù)的上傳、存儲和查詢成本降低多達90%。

該功能旨在讓客戶能夠經(jīng)濟高效地在AWS云中存儲大量矢量數(shù)據(jù)，并通過此類索引進行搜索以查找特定內(nèi)容類型，有望成為更昂貴的矢量數(shù)據(jù)庫的替代方案。

矢量數(shù)據(jù)支持所謂的語義搜索，搜索功能利用元數(shù)據(jù)中的矢量信息，讓用戶能夠找到相似類型的信息。例如在視頻文件中查找相似場景、在醫(yī)學(xué)影像中記錄的模式，或具有相關(guān)主題的文檔集合。

S3 Vectors為其S3對象存儲引入了專門構(gòu)建的AWS存儲桶類型，并將提供應(yīng)用程序編程接口(API)以允許應(yīng)用程序連接到此類數(shù)據(jù)存儲。

每個Amazon S3 Vectors存儲桶最多可支持10,000個矢量索引，每個索引能夠存儲數(shù)千萬個矢量。

創(chuàng)建矢量索引后，客戶還可以將元數(shù)據(jù)作為鍵值對附加到矢量上，以便根據(jù)一組條件過濾未來的查詢。AWS表示，S3 Vectors將隨時間自動優(yōu)化矢量數(shù)據(jù)，以實現(xiàn)最佳的性價比。

S3 Vectors與Amazon Bedrock知識庫集成，并可與Amazon OpenSearch一起使用。

Bedrock是AWS的托管服務(wù)，允許客戶構(gòu)建生成式AI應(yīng)用程序，而OpenSearch是大量數(shù)據(jù)的存儲庫和可視化工具，有助于創(chuàng)建檢索增強生成(RAG)應(yīng)用程序。

據(jù)AWS稱，S3 Vectors可以消除為矢量數(shù)據(jù)庫配置基礎(chǔ)設(shè)施的需要。這可能是因為S3和基于云的對象存儲比矢量數(shù)據(jù)庫更便宜構(gòu)建和運行。

對象存儲旨在使用扁平結(jié)構(gòu)和最小開銷處理大量非結(jié)構(gòu)化數(shù)據(jù)，并允許高效檢索單個文件。而矢量數(shù)據(jù)庫則專為跨復(fù)雜高維數(shù)據(jù)的高性能相似性搜索而設(shè)計。它們通常依賴于專門的索引方法和硬件加速，這可能推高硬件和運行成本。

矢量數(shù)據(jù)是一種高維數(shù)據(jù)類型，之所以這樣稱呼是因為數(shù)據(jù)點中的特征或值數(shù)量遠超過收集的樣本或數(shù)據(jù)點數(shù)量。

在AI中，矢量用于存儲數(shù)據(jù)并對其執(zhí)行計算。

例如，自然語言中的生成式AI請求會被處理以獲得詞義、上下文等信息，然后以多維矢量格式表示，可以對其進行數(shù)學(xué)運算。這被稱為矢量嵌入。

為了獲得查詢答案，解析和處理的數(shù)值結(jié)果可以與已經(jīng)矢量嵌入的數(shù)據(jù)進行比較并提供答案。

這意味著數(shù)據(jù)可以表示可能在所謂非結(jié)構(gòu)化數(shù)據(jù)中找到的特征——例如形狀、顏色，以及當(dāng)它們作為整體被解釋時可能代表的含義。

到目前為止，AWS似乎是第一家為其基礎(chǔ)對象存儲產(chǎn)品引入矢量功能的超大規(guī)模云提供商。

微軟Azure通過Azure Cosmos DB(一個矢量數(shù)據(jù)庫)提供矢量存儲和搜索。在Azure中可以使用Azure AI搜索進行矢量搜索。

與此同時，谷歌云平臺通過Vertex AI為存儲在GCP的BigQuery、Cloud SQL或AlloyDB數(shù)據(jù)庫中的矢量數(shù)據(jù)提供矢量搜索。