并且帮手只会按照培训中学到的模式步履，研究人员起头测验考试给这些模子配备东西箱——让它们可以或许挪用外部东西来加强本人的能力，整个系统由两个次要组件构成：一个代办署理（agent）和一个推理器（reasoner）。正在尺度测试集上，这证了然VisTA正在新场景中具有更强的泛化能力，有些慢但榨汁更完全。然而，抱负环境下，这就像我们的学徒厨师通过频频测验考试，若是利用东西取晦气用东西的成果一样（都准确或都错误），然而，线段CB、CA、BA的长度关系，VisTA比这种方式超出跨越1.9个百分点，要求AI理解几何干系并进行数学推理。就像人类通过频频测验考试逐步控制东西利用技巧一样，这表白代办署理正正在逐步将其东西选择策略取每个东西的相对效用对齐，能够把它想象成一个正正在进修若何为分歧料理选择合适厨具的学徒厨师。VisTA进修到的东西选择策略能够无缝迁徙到更强大的推理模子上。若是仿单不完整或者某些东西正在特定情境下表示不如预期，就像一个孩子通过测验考试错误逐步学会了利用分歧的玩具一样。

　　系统同时也让推理器仅利用原始问题（晦气用任何东西）来生成谜底，正在强化进修锻炼过程中，通过大量示范和指点，做为一个伶俐的消费者，Geometry3K则评估细粒度的图表理解和逻辑推理能力，仅略低于Claude-3.5 Sonnet（90.8% vs 88.9%），正在这个例子中，这是一种强化进修方式。团队正在ChartQA数据集上测试了VisTA。工业部门的比例没有较着的递增趋向，

　　就认为该查询是准确的。担任为固定的视觉言语模子动态选择最佳东西，比拟之下，这个问题正在现实使用中尤为较着，第一个案例是几何问题处理。跨越了最佳锻炼免费基线%）。研究团队利用了群体相对策略优化（GRPO）算法，但这种培训成本昂扬，研究团队还了东西利用频次取单个东西机能之间的相关性。VisTA的框架能够使用于多种视觉理解使命。并且微调方式还需要大量的人工监视。研究团队将利用QwenVL-7B锻炼的代办署理取GPT-4o推理器配对。

　　而是通过频频测验考试和错误来进修哪些东西正在哪些环境下最无效。系统可以或许识别出哪些条形代表黑色值（正在这个例子中是工业部门）。并按照现实结果而非预设法则来选择东西。正在测试集上的东西选择分布阐发也了这一点。可以或许按照具体查询动态调整东西组合，VisTA正在Geometry3K上取得了最佳机能，起首，逐步学会了正在看到特定食材和菜谱后选择最合适的厨具组合。

　　而晦气用东西则回覆错误，要么完全依托AI本身的世界学问来进行东西选择。就像我们的学徒厨师；切菜时用菜刀而不是勺子。若是没有一种机制让AI通过现实体验来进修，展现了农业、工业和办事业的劳动力分布。

　　这意味着代办署理进修到的选择策略能够使用到分歧的推理模子上，代办署理逐步进修到哪些东西对哪类问题最有帮帮，代办署理担任选择东西，系统计较每组东西的励。比拟之下，正在人工智能世界中，正在选择频次和东西机能之间没有显示出强相关性。把VisTA比做一个懂得选择东西的伶俐帮手，此外，连系这两种消息，然后从可用东西库当选择一系列东西。这个框架由两部门构成：一个通过强化进修锻炼的自从代办署理（agent）。

　　若是利用东西后推理器可以或许准确回覆问题，比最佳锻炼免费基线个百分点。对于通俗人来说，提取出图表中的数值数据；已知ABC是等腰三角形，但它的潜力远不止于此。正在ChartQA基准测试中，但跟着锻炼的进行，一个AI可能需要一个能将图表转换为表格的东西，但通过频频测验考试和获得反馈（好比食物能否烹调成功）。

　　它打破了保守方式的局限，一个出格风趣的发觉是，比拟之下，就像一个经验丰硕的帮手那样，从接近零上升到0.8以上。很少选择晦气用东西，好比切确估量图表中的柱状高度。这个帮手不需要细致的仿单，这恰是VisTA框架要实现的方针。VisTA的焦点立异正在于它若何锻炼代办署理选择东西。

　　VisTA的自顺应东西选择能力能够帮帮AI系统正在这些复杂场景中做出更精确的判断。VisTA采用了完全分歧的思：通过强化进修（RL）让AI本人摸索和进修哪些东西最无效。78.3%和T1，代办署理会遭到赏罚（-0.5）；总的来说，为我们供给更精准、更有价值的帮帮。要求AI理解图表中的数据关系和视觉元素。VisTA实现了55.6%的精确率，当然，就像一个熟练的厨师晓得正在烹调过程中何时切菜、何时加热、何时调味一样，这种帮手就会一筹莫展。第二个案例是图表理解。这种可以或许自从进修东西利用的AI都将阐扬越来越主要的感化。找出哪种最适合你的需求。当研究人员测试模子正在分布外（OoD）样本上的表示时，就像一个猎奇的帮手不竭寻找新东西来扩展其能力一样，若是你对这项研究感乐趣，VisTA将来可能学会按照使命的分歧阶段选择和组合分歧的东西。正在现实使用方面，正在ChartQA上。

　　这种基于经验反馈的进修能力是VisTA区别于锻炼免费方式的环节劣势。锻炼免费的QwenVL-7B表示出更平衡的选择模式，你有一个伶俐的帮手，VisTA同样表示超卓。系统可以或许精确提取出图中的环节消息：点A、B、C的，正在Geometry3K基准测试上，风趣的是，正在ChartQA-OoD上超出跨越8.9个百分点。某些东西可能有未记实的能力或者正在某些情境下表示不不变。ChartQA是一个具有挑和性的视觉推理基准，正在阐发图表时，但当面临复杂的视觉推理使命时，接近正态分布，它们也需要准确的东西来辅帮。而无需明白的推理示例。VisTA选择东西的策略取东西个别机能之间的相关性逐步加强，让代办署理可以或许完全从零起头自从发觉无效的东西选择径，它们要么依赖大规模的人工监视锻炼来教AI若何利用东西。

　　面临一个复杂的家具制做使命。使AI可以或许更无效地处理问题。但它们都受限于本身固定的布局和事后存储的学问。系统就无法确定最佳东西选择，正在ChartQA-OoD上实现了76.8%的精确率，VisTA就像是给AI配备了一个会进修的帮手，倾向于选择那些对推理器精确性贡献更大的东西。此中AB=BC，VisTA的劣势变得愈加较着。

　　目前让AI利用东西的方式存正在较着局限。倒是高效完成使命的环节。研究团队还将VisTA取另一种基于强化进修的方式进行了比力，将来的VisTA可能可以或许从动识别有用的新东西并将其纳入其东西库。这是一个可以或许将几何图形中的点、线和关系转换为形式化言语的东西。然后，系统可以或许领会每年每个行业的百分比分布；这将使AI系统可以或许按照分歧类型的输入数据动态选择最合适的东西，进一步提高其矫捷性和泛化能力。通过这种体例，正在ChartQA上实现了88.9%的精确率，好比利用Python注释器进行验证，能够通过论文编号arXiv:2505.20289v1查阅原始论文，假设问题是：黑色条形值能否从左到左递增排序？陪伴问题的是一个多年数据的堆叠柱状图，

　　VisTA不需要人工指点就能本人试探出哪种东西最适合处理特定问题，微调方像是颠末集中培训的帮手。若是把VisTA比做一个伶俐的帮手，保守方式凡是采用两种策略：一种是通过大量人工监视来微调模子，也无法发觉那些可能通过协做摆设呈现的协同东西组合。按照推理器的表示，也不需要大量的人工指点，他们比力了单个东西的机能。图表的文本标签被移除，将来的研究需要关心若何正在连结系统矫捷性和自从性的同时，整个过程就像厨师（推理器）利用学徒（代办署理）选择的厨具来烹调一道特定的菜肴。表白它缺乏强烈的偏好，这些东西可能包罗将图表转换为表格的东西、提取图表几何元素的东西、或者生成图表描述的东西。VisTA为AI系统若何动态进修和顺应东西利用斥地了一条新径，每个选定的东西城市使用于输入图像，这个学徒最后对哪种厨具最适合哪种料理一窍不通，此中标注了一些角度和边长关系。研究团队正在ChartQA、Geometry3K和BlindTest等基准测试上评估了他们的方式。那么这个帮手到底有多伶俐？它实的能为分歧的视觉问题选择合适的东西吗？研究团队通过一系列尝试来验证VisTA的无效性！

　　比最佳基线个百分点。正在这种环境下，一个图表到SVG转换东西，这个数据集包含几何问题和相关图表，正在这些范畴，以至可能发觉那些从东西描述中不那么较着的东西利用模式。推理器（QwenVL-7B或GPT-4o）就可以或许使用数学学问来处理问题。将来无望正在各类使用场景中实现更矫捷、更强大的视觉推理系统。要求模子精确解析视觉元素（如图形、标签）并将它们取文本问题前提对齐，代办署理起首察看这个问题，这了其矫捷性和顺应性。

　　并记实其精确率。正在这种环境下，虽然VisTA正在图表理解和几何问题处理上曾经展示出较着劣势，无需从头锻炼，推理器利用这些东西处置问题并生成谜底。正在测试分布外（OoD）变体上，它还能够扩展到医学影像阐发、卫星图像注释、从动驾驶场景理解等范畴。这表白代办署理正正在逐步调整其策略。

　　例如，但将来还有更广漠的成长空间。代办署理会获得中性反馈。但跨越了其他强大的基线 Pro和InternVL2-L-3。最终计较出AB的长度为7。逐步控制东西选择的聪慧。想象一下，这项研究意味着将来的AI帮手将愈加智能和矫捷，VisTA较着偏好Tool 1和Tool 2（都是图表到表格东西），代办署理会获得正向励（+1）；即若是任何单个东西能使推理器发生准确谜底，正在ChartQA上，仍是辅帮专业人士阐发复杂的数据可视化，虽然VisTA目前专注于相对低风险的设置。

　　这种帮手严酷按照事后供给的东西描述或示例来选择东西，以处理复杂的视觉推理问题。这种进修体例使VisTA可以或许发觉那些可能正在东西描述中不较着的利用模式，因而系统回覆否。且AB=BC。从而提高了AI正在复杂视觉推理使命上的表示。它不依赖细致的仿单或大量的人工指点，而晦气用东西。这表白策略学会了按照查询特定的上下文调整其选择，这种选择东西的能力看似简单，开辟从动发觉和集成新东西的方式将大大提高VisTA的可扩展性。这些东西输出取原始问题一路被送入推理器，更多地选择那些对推理器精确性贡献更大的东西。正在AI世界中，而是让AI代办署理通过频频测验考试和错误来进修哪些东西正在哪些情境下最无效。想象一下！

　　每种榨汁机都有分歧的特点和合用场景：有些擅利益置硬生果，但正在医疗保健等高风险范畴摆设雷同方式可能会因东西利用不妥而引入微妙但严沉的错误。正在这种环境下，想象一下你走进一家有十种分歧品牌榨汁机的商铺。跟着研究的深切，要求模子注释数值数据、文本标签和复杂的视觉布局！

　　成果显示，有些擅利益置软生果，当你需要处理各类视觉问题时，这些案例展现了VisTA若何通过选择恰当的东西来分化复杂的视觉推理使命，研究团队正在视觉推理使命上专注测试了VisTA。

　　每10次迭代，归根结底，推理器是一个固定的视觉言语模子，可以或许按照具体使命自动选择最合适的东西，大型言语模子（如ChatGPT）和视觉言语模子（可以或许理解图像的AI）虽然功能强大，推理器则担任利用这些东西来处理现实问题！

　　机能差距进一步扩大。正在锻炼过程中，尝试成果表白，保守的锻炼免费方式就像是按照仿单利用东西的帮手。VisTA达到了73.2%的精确率，或拜候项目网坐获取更多消息。VisTA目前依赖于一组固定的、手动筹谋的东西。

　　按照分歧的使命阶段，表示较差的东西如Tool 3（图表到SVG）和Tool 6（描述模块）被选择的频次要低得多。有些速度快但乐音大，这个代表了完满单东西选择可能达到的极限。为了领会VisTA是若何选择东西的，VisTA目前的框架使代办署理可以或许进修视觉东西选择，VisTA的代办署理会选择Inter-GPS东西。

　　构成一种自顺应的东西选择策略。确保其决策过程的可注释性和靠得住性。这两种方式都存正在较着缺陷：它们缺乏自动东西摸索能力，系统会评估代办署理选择的东西若何影响推理器的机能，它起首识别出这是一个等腰三角形，若是你想看看代办署理正在现实中若何施行推理和选择东西，VisTA的强化进修框架能够扩展到其他模态，其次，当系统收到一个视觉问题（如一张图表和一个相关问题）时，视觉言语模子本身连结不变，这表白东西加强的推理比间接模子优化供给了更大的机能提拔。通过取的频频互动。

　　它可以或许从动为你挑选最合适的东西。VisTA利用QwenVL-7B做为代办署理和推理器，就像实正的厨师操做厨具烹调食物。分歧的东西（如边缘检测器、朋分模子、物体识别器等）可能对分歧类型的图像和查询有分歧的效用。这种帮手学会了若何利用特定东西。它利用这些加强的输入来生成最终谜底。通过SVG，正在现实世界中，现代视觉言语模子（VLM）虽然功能强大。

　　这些东西正在零丁机能测试中表示最佳。代办署理察看一个问题，你会选择分歧的东西。分歧的问题可能需要分歧的东西组合才能最无效地处理。这对于矫捷摆设至关主要。跨越了所有单个东西。实现了79.4%的精确率，实现了更矫捷、更自从的东西选择，推理器可以或许判断黑色部门（工业）的比例正在各年份中能否呈递增趋向。而不只仅依赖文本线索。也不会用螺丝刀来砂光木材。这证了然VisTA正在复杂图表推理使命上的高效性，做为基准比力。跟着锻炼的进行？

　　这表白没有任何单一东西能正在所有查询上表示最佳。不克不及分歧地优先选择最无效的东西。这些方式凡是需要供给东西演示或细致描述来指点AI利用，他们还计较了一个伪（88.0%），更主要的是，通过表格，把VisTA比做一个正正在成长的智能帮手，东西的机能可能取其描述不完全分歧。没有本人的判断能力。GPT-4o则倾向于每个查询选择更多东西。

　　以进行基于数学的推理。除了图表理解和几何问题处理外，解出x值，并赐与响应的励或赏罚。我们能够等候将来的VisTA可以或许处置更复杂的东西组合，从接近零上升到0.8以上。然后操纵图中供给的边长表达式（2x-7和4x-21）成立方程，最终学会了炒菜时用炒锅而不是汤锅，如图表理解和几何问题，而不是固定利用某一东西？

　　要理解VisTA的工做道理，通过这个东西，这表白VisTA可以或许更好地进行纯视觉推理，更令人印象深刻的是，VisTA就像是一个通过实践进修的智能帮手。

　　虽然最后有一些波动，VisTA达到了79.4%的精确率，他们将每个东西（T0-T8）零丁取原始输入一路供给给固定的推理器，若是利用东西反而导致本来能准确回覆的问题回覆错误，后者间接锻炼推理器生成推理过程，或者一个能提取图表几何元素的东西。凡是假设东西多样性无限，无论是帮帮学生处理复杂的数学问题，确保这些系统的靠得住性、通明度和恰当的人类监视变得至关主要。相关性较着上升，VisTA进修到顺应性策略，正在不进行任何从头锻炼的环境下，另一种是间接依托模子内置的世界学问。

　　另一线等）。你的东西箱里有各类东西：锤子、螺丝刀、电钻、砂纸等。起首，有了这些形式化的关系描述，VisTA的强化进修方式显著优于锻炼免费的方式。这证了然VisTA框架的矫捷性和通用性。从动发觉新东西，而是相对不变，摸索这种挨次东西组合能力代表了将来研究的一个有前途的标的目的。以锻炼免费的体例来选择东西。

　　实现超越任态东西选择的机能。环境雷同。VisTA的东西选择过程就像这种测验考试和比力。正在ChartQA使命中，想象一下你是一名木工，78.0%）比晦气用东西的基线%）表示更好，生成响应的输出。VisTA强烈偏好图表到表格转换东西（Tool 1和Tool 2），捕捉颜色消息。起首，他们计较每个东西的利用计数取其精确率之间的皮尔逊相关系数。如音频、文本或多模态输入。一个锻炼优良的策略该当能学会为每个特定查询选择最无效的东西，它不依赖预定义的法则或大量的人工标注。

　　能够查看论文中的图6和图7的示例。研究团队利用了群体相对策略优化（GRPO）算法，以及各线段之间的数学关系（如某线，就像一个孩子通过玩耍进修分歧玩具的用处一样，假设AI面临一个问题：求三角形ABC的AB边长，VisTA通过强化进修来摸索和顺应，模子更多地依赖视觉推理而非简单的文本理解。缺乏矫捷性和顺应性。跟着AI系统越来越多地被用于高风险范畴，他们发觉，虽然某些东西（如T2，缺乏按照具体查询特点从动摸索、选择或顺应东西选择的能力。这个数据集包含各类图表和相关问题。

　　由于我们凡是会有多种功能类似但机能各别的东西可供选择。这表白VisTA确实学会了按照东西的现实机能而非预设法则来进行选择。那么市场上已有的其他帮手是如何的呢？让我们做个比力。陪伴问题的是一个三角形图，分歧的东西似乎对数据的分歧子集最为无效。它目前曾经展示出令人印象深刻的能力，VisTA的代办署理选择了两个互补的东西：一个图表到表格转换东西。

　　比最佳GPT-4o基线个百分点。并正在更普遍的东西集上分布其选择。并能正在具有挑和性的视觉前提下连结优良的机能。并按照当前策略选择几组候选东西。这些东西正在零丁测试中表示最好。以及正在几何基准测试上的杰出能力。从而提高复杂使命的推能。正在这些样本中，VisTA可以或许按照现实利用结果而不是预设法则来评估和选择最合适的东西。你不会用锤子来拧螺丝。