AI が急速に発展するにつれ、データセンターは GPU (グラフィックス プロセッサ) の能力を最大限に活用して、膨大な処理ニーズに対応する必要があります。そのような状況において、Tensormesh 社は、Laude Ventures が主導し、データベースの第一人者である Michael Franklin 氏の参加を得て、シード投資資本として 450 万米ドルを受け取ったところです。
この資金は、共同創設者の Yihua Cheng が構築したオープンソース ツールである LMCache の商用バージョンの開発に使用されます。 LMCache は AI の実行コストを最大 10 分の 1 に削減するのに役立ち、すでに Google と Nvidia によって使用されています。 Tensormesh は、このテクノロジーを商用製品にして、他の多くの企業が簡単に適用できるようにしたいと考えています。
LMCache の中核はキー値キャッシュ (KV キャッシュ) であり、これによりシステムは、従来の方法のようにクエリごとにデータを削除するのではなく、処理されたデータを保存して再利用できるようになります。 Tensormesh は重要なデータを保持するため、AI モデルの応答が速くなり、リソースが節約されます。このアプローチは、モデルが会話や行動の履歴を常に参照する必要があるチャットボットや仮想アシスタント アプリケーションで特に効果的です。
CEOのJunchen Jiang氏によると、大手AI企業が同様のシステムを自社で構築することもできるが、このプロセスには多くのエンジニアが必要で、完了までに数カ月かかるという。 「Tensormesh を使用すると、時間とコストを大幅に削減できます」と彼は言いました。
メモリと GPU パワーの最適化に重点を置いた Tensormesh は、コンピューティング需要が前例のない速度で増加している世界的な AI インフラストラクチャの重要な部分になることが期待されています。
