Copilot sięga coraz głębiej. Będzie mógł oglądać twój ekran

Microsoft rozwija Copilot w ciekawym momencie. Okres szaleństwa związany z narzędziami opartymi o algorytmy sztucznej inteligencji z jednej strony zdaje się nie mieć końca, a z drugiej coraz mniej rzeczy dociera do mas odbiorców. Jednocześnie takie narzędzia mogą coraz więcej i będą obecne w naszej codzienności na jeszcze bardziej zaawansowanym poziomie. Copilot Vision to przedstawiciel tych narzędzi sztucznej inteligencji, które mają z nami złapać jeszcze lepszy kontakt i zrozumieć nasze potrzeby dogłębniej. Wszystko dzięki dostępowi do treści na ekranie.
Copilot+
Copilot+

Microsoft ma ogromną bazę użytkowników, którzy mogą dzielić się z firmą ogromnymi pokładami danych z codziennego użytkowania. Problemem jest oczywiście sposób, w jaki te dane mogą pojawić się w zasobie firmy odpowiedzialnej za Windowsa. W przeszłości Microsoft “zasłynął” usługa Recall. Dla przypomnienia: Microsoft użytkownikom urządzeń Copilot+ (np. laptopom z określoną mocą obliczeniową dla rozwiązań AI powyżej 40 TOPS) zaproponował rozwiązanie, które stale rejestruje ich aktywność – odwiedzone strony i to, co robimy w aplikacjach. Oczywiście po to, abyśmy mogli do tego wrócić, jednak Recall wzbudził zastrzeżenia związane z prywatnością.

W efekcie producent musiał zawiesić prace związane z tym rozwiązaniem. Nie oznacza to, że rozwiązania będące częścią tej usługi nie mogą powrócić w przyjaźniejszej prywatności użytkowników formie. Copilot niebawem zyska narzędzie, które zrozumie to, co dzieje się na ekranie. Z jednej strony może to przekonać do korzystania z niego tych, którzy przez ostatnie miesiące o usługach Microsoftu zapomnieli. Z drugiej pokazuje, że Microsoftowi nadal zależy na zdobywaniu jak największej ilości naszych danych. Tylko czy możemy się firmie dziwić?

Copilot Vision to forma asystenta, który zrozumie, co się dzieje

Podczas obchodów 50. urodzin w ubiegłym tygodniu (wszystkiego najlepszego!) przedstawiciele Microsoftu prezentowali za zamkniętymi drzwiami nowe funkcje, które pojawią się w Windowsie. Dzięki między innymi TheVerge zyskaliśmy wizję na temat tego, czym może być jedna z najciekawszych funkcji w Windowsie.

Co powiedzielibyście na podzielenie się wyświetlanym obrazem z waszym komputerem? Copilot Vision w zasadzie istnieje w produktach Microsoftu od kilku miesięcy – mogliście skorzystać z niego za pośrednictwem przeglądarki Microsoft Edge. To wirtualne oczy, dzięki którym Copilot wiedział, jakie strony przeglądamy i mógł przeprowadzić nas przez pewne kwestie, które umknęły naszej uwadze, a o które zapytaliśmy.

Microsoft Copilot Visual będzie wiedział, co znajduje się na ekranie

To samo będziemy mogli już wkrótce zrobić w całym systemie Windows, przynajmniej w teorii. Beta testy Copilot Vision wystartowały w ramach programu Windows Insider, ale na ten moment są obecne tylko dla użytkowników ze Stanów Zjednoczonych. Zdaje się jednak, że warto poczekać, bo implementacja ma być szeroka. Na demie Copilot Vision potrafił rozpoznać wartościowe przedmioty, które można zebrać ze skrzyni w Minecrafcie, ale i przeprowadzać przez procesy w aplikacji Adobe Photoshop, by osiągnąć najlepsze dla oka rezultaty.

Copilot Vision nie ma jednak ograniczać się do ekranów komputera. Za pośrednictwem aparatu naszego smartfonu możemy wejść w interakcję z otoczeniem. Podczas urodzinowej prezentacji przedstawiciele Microsoftu prezentowali, jak Copilot może uszeregować dinozaury według okresu, w którym każdy z nich żył. To rozwiązanie przypomina Project Astra od Google, którego zadaniem będzie opowiadanie nam o tym, co widzimy, przy okazji biorąc informacje o naszym aktualnym położeniu.

Chcesz mieć nowości? Zapomnij o prywatności

Nie chcę stawiać znaku równości między funkcją Recall, która miała rejestrować treści “na zapas”, a Copilot Vision, który uaktywnia się tylko, gdy go włączymy. Widać jednak, że podejście Google proponującego “Zaznacz, aby wyszukać” (Circle to Search) daje na tyle duże korzyści, że Microsoft nie może wyłączyć się z wyścigu o pozyskiwanie danych z wyszukiwań wizualnych. Oczywiście firma ma obowiązek animizowania danych i implementacji narzędzi w sposób zgodny z wytycznymi danych regionów. W Unii Europejskiej mamy szereg regulacji pokroju AI Act, ale swoje znaczenie mogą mieć także zapisy Digital Markets Act, gdy o dostęp do podobnego zagłębienia się w system mogliby poprosić inni gracze.

Już wkrótce doczekamy się skanowania plików przez AI

Z jednej strony takie narzędzia to przyszłość, która może zastąpić tutoriale lub odpowiadać na pytania jeszcze niezadane. Dodajmy do tego testy, jakie prowadzi Microsoft w zakresie wyszukiwania plików oraz treści tychże, a otrzymamy pakiet narzędzi, które usprawnią korzystanie z Windowsa. Jedyną wątpliwością zostaje jedynie ta dotycząca tego, czy zyskamy na tych rozwiązaniach bez jednoczesnego ciągłego śledzenia naszych nawyków oraz treści, które widzimy. Z jednej strony “coś za coś” ma sporo sensu, a z drugiej – czy jest inna droga?