W Edge Canary 138.0.3323.0 jest już kilka nowych flag związanych z “Phi mini”. Jedna z nich nazywa się “Prompt API for Phi mini”, co pozwala na uruchamianie zadań LLM poprzez wyzwalanie modelu języka Phi-mini w Microsoft Edge. Ale firma ostrzega, że jest to “eksploracyjny API prompt”. Oznacza to, że Microsoft może nigdy nie uruchomić API dla zwykłych użytkowników.
Sztuczna inteligencja coraz silniej w Edge
Phi-4 mini to model językowy, który różni się od ChatGPT (dużego modelu językowego). Jak łatwo się domyślić, wymaga mniej obliczeń, ale mimo to jest wydajny i nadaje się do złożonych zadań. Według Microsoftu, Phi-4 ma 14 miliardów parametrów i jest naprawdę dobry w generowaniu tekstu. Mniejsza skala oznacza również, że jest znacznie tańszy niż integracja czegoś takiego, jak ChatGPT, z przeglądarką Edge.
W rezultacie używanie Phi-4 wEdge może mieć sens. Wcześniej firma eksperymentowała z Phi-3, ale zdecydowała się na użycie nowszego modelu. Jak opisuje Microsoft, Prompt API w Edge może przetwarzać zadania takie, jak podsumowywanie, klasyfikowanie lub parafrazowanie tekstu – wszystko natywnie, w przeglądarce. Ostrzega zarazem, że obecny prototyp nie jest przeznaczony do sprawdzania faktów. Istnieje kilka innych API dla Phi-4-mini, w tym umożliwiających napisanie fragmentu tekstu.
Czytaj też: Microsoft robi porządki – usunie wiele funkcji z przeglądarki Edge
Obecnie Edge ma funkcję “Rewrite with Copilot”, która pozwala osiągnąć ten sam cel, ale jest powiązana z chmurą. Integracja Phi-4 oznacza, że przeglądarka będzie polegać na możliwościach sprzętowych w celu przetwarzania niektórych zadań SI, ale nie wiemy, czy będzie to ograniczone do komputerów z NPU, czy też zadanie to wykona dowolny sprzęt mający GPU?
W eksperymentalnych wydaniach Edge są dwie dodatkowe flagi. Jedna z nich nosi nazwę “Włącz zastępowanie parametrów wydajności modelu AI na urządzeniu”, która pomija wszystkie wymagania dotyczące wydajności, a druga to flaga służąca do debugowania dzienników, gdy AI jest używana natywnie. Potwierdza to, że w przypadku Edge sztuczna inteligencja znajduje się na urządzeniu i korzysta z jego zasobów.