Hvis du bruger en iPhone, iPad eller Mac dagligt, lever du allerede med den. Apples maskinlæring Selvom du måske ikke altid er klar over det. Fra hvordan dine fotos er organiseret til tastaturets tekstforslag eller de nye Apple Intelligence-funktioner, er der en ægte digital hjerne, der arbejder i baggrunden for at få alt til at virke magisk ... men meget kontrolleret.
I de senere år er Apple gået fra at være meget hemmelighedsfuld omkring kunstig intelligens til at åbne op for verden med Apple Intelligence, Apple Machine Learning Journal, MLX og et meget komplet økosystem af frameworks for udviklere. Alt dette med en meget klar idé: at AI skal være overalt, men at dine data skal forblive dine og behandles, når det er muligt, på enheden.
Hvad forstår Apple ved maskinlæring og kunstig intelligens?
For Apple, den Maskinlæring Det handler ikke bare om at træne en kæmpe model i et datacenter og forbinde den til en app. Deres tilgang er baseret på at fylde operativsystemet med små og store intelligente rutiner, der løser meget specifikke opgaver: genkendelse af ansigter i Fotos, forudsige hvilken app du vil åbne, rydde op i støj på et opkald eller detektere en mulig trafikulykke med iPhone eller Apple Watch.
Parallelt har virksomheden taget springet til Generativ AI Med Apple Intelligence: modeller, der er i stand til at opsummere, omskrive og klassificere tekst, generere illustrationslignende billeder eller oprette personlige Genmojis, reagere med naturligt sprog og forstå konteksten af det, du ser på skærmen. Alt dette kommer ikke som en selvstændig app, men integreret i systemet og fordelt på forskellige funktioner.
Historisk set har Apple været meget hemmelighedsfuld omkring, hvad de afslører om deres AI-arbejde, hvilket har givet dem problemer, når det kommer til tiltrække forskningstalenterAt mangle publicering af artikler eller at tillade ingeniører at dele deres fremskridt kolliderede direkte med den akademiske kultur i AI-miljøet. Det er netop derfor, lanceringen af Apple Machine Learning Journal Det repræsenterede et markant skift i den måde, deres forskning blev formidlet på.
I denne tekniske blog forklarer Apples egne ingeniører i detaljer, hvordan de anvender AI og maskinlæring til at skabe smartere produkter, og frem for alt hvordan de løser komplekse problemer som f.eks. realisme af syntetiske billedersom bruges til at træne neurale netværk hurtigere og med mindre manuel mærkningsindsats.
Kulturskiftet er også tydeligt i Apples nuværende opmuntring af andre forskere, studerende og udviklere til at send spørgsmål og tilbyde feedback, hvilket åbnede en kommunikationskanal, der simpelthen ikke eksisterede før. Dette skridt var næsten obligatorisk, hvis Apple ville fortsætte med at konkurrere direkte i et miljø, hvor Google, OpenAI, Meta eller Microsoft De udgiver og samarbejder konstant.
Apple Intelligence: Det nye AI-lag på iPhone, iPad og Mac
Apple Intelligence er det navn, Apple giver sin samlede strategi for Generativ AI og maskinlæring integreret i selve operativsystemet. Det er ikke en enkelt model eller en enkelt app, men et sæt modeller og værktøjer, der findes i iOS, iPadOS og macOS og er distribueret i hele systemet.
Mange Apple Intelligence-funktioner udnytter eksisterende muligheder (mere end 200 maskinlæringsrutiner på iPhone håndterede allerede opgaver som at organisere billeder eller forudsige tekst), men nu tilføjer de sprog- og billedgenereringsmodeller meget mere sofistikeret, designet eksplicit til hverdagsopgaver.
Nøglen er, hvordan disse funktioner udføres. Apple satser alt muligt på behandling på enhedenModellerne kører direkte på din iPhone, iPad eller Mac med A17 Pro eller Apple Silicon-chips (M-serien)Dette udnytter CPU'en, GPU'en og frem for alt Neural Engine. På denne måde forlader dine personlige data ikke enheden til de fleste daglige handlinger.
Når en opgave er for krævende for den lokale hardware, kommer følgende i spil: Privat cloud computingI så fald udvælger enheden kun de strengt nødvendige data, sender dem anonymt til Apples egne servere, kører modellen der og kasserer dataene uden at gemme dem. Denne private cloud fungerer på hardware med Apple-chips og tilbyder avancerede sikkerhedsrevisionsmekanismer for at forhindre uautoriseret adgang.
Derudover kan Apple Intelligence benytte sig af tredjepartsmodeller som f.eks. OpenAI ChatGPT Ved meget brede spørgsmål eller specialiserede emner, der ikke er dækket af Apples egne modeller, spørger Siri eksplicit, om du vil sende oplysningerne til den pågældende eksterne tjeneste. Du kan blokere dette, hvis du foretrækker at holde alt inden for Apples økosystem.
Vigtigste smarte funktioner for brugeren
Maskinlæringens synlige ansigt hos Apple ses i de funktioner, du bruger hver dag, hvoraf mange allerede er blandet med Apple Intelligence og virksomhedens klassiske ML-frameworks.
En af de mest slående nye funktioner er Visuel intelligensDenne funktion, der er tilgængelig på iPhone 16, iPhone 16 Pro og via handlingsknappen på iPhone 15 Pro og iPhone 16e, aktiverer kameraet, som derefter går i en tilstand, hvor systemet analyserer det indhold, du fokuserer på, og tilbyder muligheder som "Spørg" eller "Søg". Hvis den ser tekst, kan muligheder som "Oversigt", "Oversæt" eller "Læs højt" også vises.
Dette gør det muligt for iPhonen at opsummere et udskrevet dokument, læse en hel side højt eller oversæt en menu til et andet sprog på fartenDet er en blanding af computersyn, sprogbehandling og talesyntese, der i vid udstrækning udføres på selve enheden.
den Skriveværktøjer De er en anden nøglekomponent. Integreret i mange systemapps og tilgængelige for tredjepartsapps, der bruger almindelige API'er, giver de dig mulighed for at opsummere lange tekster, omskrive dem med en anden tone eller stil, korrigere grammatik og foreslå hurtige svar i sammenhænge som Mail eller Beskeder. Det er her, Apples sprogmodeller kommer i spil, og hvis du vælger det, tredjepartsmodeller som ChatGPT.
Inden for det visuelle område tilbyder Apple to funktioner til billedgenerering: Genmoji, som opretter brugerdefinerede emojis ud fra tekstbeskrivelser til brug i iMessage eller e-mail, og BilledlegepladsDen genererer illustrationer i forskellige stilarter (skitse, illustration eller 3D-animation) ud fra simple instruktioner. De konkurrerer ikke med nichetjenester som Midjourney, men de har den fordel, at de er integrerede, gratis og fungerer med et stærkt fokus på privatliv.
Forvaltningen af underretninger Og beskeder er også blevet smartere. Systemet bruger klassificeringsmodeller til at bestemme, hvilke notifikationer der er mest relevante, og prioritere dem. Det kan kondensere indholdet af e-mails og beskeder til en enkelt linje, så du kan få en idé uden at åbne dem, og justere fokustilstand mere intelligent baseret på kontekst.
I Fotos bruges maskinlæring til at genkende ansigter, steder, genstande og scenerLav slideshows med en narrativ struktur og foreslå passende musik. Takket være AI kan du også søge efter et specifikt øjeblik i en video ved at beskrive, hvad der sker ("når pigen puster lysene ud"), samt få adgang til avancerede redigeringsværktøjer, såsom at fjerne uønskede baggrundselementer med et enkelt tryk.
Siri fornyet: mere kontekst, mere AI og forbindelse til eksterne modeller
Siri er et af Apples produkter, hvor indflydelsen fra maskinlæring og dens seneste udvikling er mest mærkbar. Den oprindelige assistent, der blev erhvervet i 2010 efter sin tid i DARPA-finansierede projekter, var baseret på stemmegenkendelsesteknologier som dem fra Nuance og på systemer, der var mindre sofistikerede end nutidens neurale netværksmodeller.
Med tiden begyndte Apple at bruge dybe neurale netværk, n-grammer og andre modeller på enheder at forbedre sprogforståelse og talegenkendelse. Disse forbedringer var så betydelige, at springet i nøjagtighed ifølge Eddy Cue tvang teamet til at gentage testene i tilfælde af en beregningsfejl.
Alligevel kom revolutionen med arkitekturen af transformers Populæriseret af den berømte artikel fra 2017, "Attention is All You Need", grundlaget for moderne generativ AI og modeller som dem fra OpenAI. Mens ChatGPT blev allestedsnærværende, opfattede mange, at Apple var sakket bagud uden en direkte ækvivalent.
Virksomhedens svar har været at redesigne Siri som det offentlige ansigt udadtil for Apple Intelligence. Nu har assistenten en ny grænseflade Den oplyser hele iPhones skærm, kan bruges både ved at skrive tekst og ved at tale, og den forstår personlig kontekst meget bedre: Kalenderaftaler, e-mails, indhold på skærmen, seneste beskeder osv.
Fra og med de nye systemversioner vil Siri kunne styr apps, som om du var dig selvDen kæder komplekse handlinger sammen og konsulterer forskellige interne informationskilder. Og når der er behov for ekstern information eller meget åben argumentation, fungerer den som en indgang til tredjepartsmodeller som ChatGPT, hvor den altid beder om tilladelse, før dine data sendes.
Maskinlæringsframeworks for udviklere
Alt, hvad slutbrugeren ser, hviler på et kraftfuldt økosystem af ML-frameworks, som Apple lægger i hænderne på udviklere og entusiaster. On-Device Machine Learning-teamet tilbyder værktøjer til at integrere Apple Intelligence og brugerdefinerede modeller i apps og projekter, uden altid at være afhængig af skyen.
Hjørnestenen er Core ML, rammeværket til at køre maskinlæringsmodeller på Apple-enheder. Modellerne er pakket i .mlmodel-format, kan downloades færdiglavede fra developer.apple.com eller fra Apples officielle Hugging Face-område, eller konverteres fra andre formater (TensorFlow, PyTorch osv.) ved hjælp af Core ML Tools i Python.
Core ML optimerer automatisk modeller til Apple-hardware, reducerer størrelsen og forbedrer ydeevnen, og kan kombinere disse optimeringer med manuelle justeringer. I Xcode kan udviklere inspicere modellens arkitektur, se ydeevnemålinger og endda... genererer stærkt typet Swift-kode for sikkert at integrere dem i dine apps.
Under kørsel fordeler Core ML arbejdsbyrden mellem CPU, GPU og Neural Engine for at opnå hurtig og energieffektiv inferens, samtidig med at privatlivets fred opretholdes ved at køre alt lokalt. Til avancerede brugsscenarier kan det suppleres med MPSGraph og Metal Compute at programmere brugerdefinerede GPU-kerner eller med API'en BNNS-graf fra Accelerate-frameworket, som nu inkluderer BNNSGraphBuilder til at bygge ML-grafer på CPU med lav latenstid.
For dem, der ønsker at træne deres egne modeller uden at forlade økosystemet, tilbyder Apple Opret MLEn kombination af app og framework designet til at træne billedklassificering, objektdetektion, tekstanalyse eller lydklassificeringsmodeller med Swift. Den udnytter overførselslæringsteknikker og integrerer med Xcode, hvilket forenkler trænings-, evaluerings- og eksportcyklussen for modeller direkte til .mlmodel.
Specifikke API'er: vision, sprog, lyd og stemme
Ud over Core ML har Apple en række specialiserede frameworks bygget på maskinlæring, der hjælper med at løse meget specifikke problemer uden at udvikleren behøver at designe en model fra bunden.
Den første er VisionComputer Vision API'en muliggør billedklassificering, objektdetektion med afgrænsningsbokse, ansigtsgenkendelse, OCR, segmentering af personer eller baggrund og estimering af menneskelig pose. De seneste versioner inkluderer forbedringer såsom... avanceret dokumentgenkendelse eller detektering af pletter på objektivet, hvilket er meget nyttigt til at advare brugeren om at rengøre kameraet, hvis noget bliver sløret.
For naturligt sprog er der rammeværket Naturligt sprogDen tilbyder sprogidentifikation, tokenisering, grammatikmærkning, entitetsgenkendelse, sentimentanalyse, lemmatisering og generering af indlejring. Alt dette kører på enheden, når det er muligt, hvilket gør den til et ideelt valg til apps, der skal analysere tekster privat uden at sende dataene til en server.
Maskinoversættelse håndteres med rammeværket OversættelseMens Lydanalyse Den registrerer og klassificerer lyde i realtid (fra gøende hunde og alarmer til musikundervisning) ved hjælp af Core ML-modeller. Ligesom med resten af Apples API'er kan lydbehandling udføres lokalt, hvilket er afgørende i sikkerheds- eller overvågningssammenhænge.
Inden for stemme har Apple rammerne Tale, specialiseret i genkendelse og transkription. Integreringen af API'en TaleAnalyzer Det muliggør hurtigere og mere fleksibel tale-til-tekst-behandling, især i lange lydoptagelser eller med mikrofonen langt vækDet er en vigtig komponent til dikteringsapps, optagede møder eller live undertekster.
Alle disse frameworks kan kombineres med hinanden og med brugerdefinerede modeller, der er oprettet med Create ML, eller konverteres med Core ML Tools, hvilket resulterer i et yderst sammenhængende AI-økosystem på tværs af iOS, iPadOS, macOS, watchOS og tvOS.
Foundation Models og MLX: springet til skalering i Apple Silicon
Med ankomsten af iOS 26 har Apple taget et vigtigt skridt ved at inkludere en Struktur af fundamentsmodeller direkte ind i systemet. Disse er store sprogmodeller, der er optimeret og finjusteret specifikt til almindelige daglige opgaver: opsummering, udtrækning af nøgleinformation, klassificering, generering af strukturerede svar eller sikkert arbejde med personoplysninger.
Disse modeller fungerer perfekt på enheden Når det er muligt, betyder det, at du f.eks. kan anmode om et resumé af en lang tekst eller udtrække nøgledata fra et dokument uden at noget forlader din iPhone eller Mac. Derudover kan de integreres med realtidsdata via "værktøjskald", der giver modellen mulighed for at udføre handlinger (åbne en app, oprette en kildehenvisning, forespørge en lokal database) og citere pålidelige kilder.
Til forskning og eksperimenter har Apple lanceret MLXMLX er et open source-bibliotek til numerisk databehandling og maskinlæring, der er designet specifikt til at udnytte potentialet i Apple Silicon. MLX giver dig mulighed for at finjustere, træne og køre næste generations modeller på Mac-enheder med M-chips, herunder store sprogmodeller (LLM) som kan startes med et simpelt kommandolinjekald.
Apple Silicons samlede hukommelsesarkitektur gør det muligt for CPU'en og GPU'en at arbejde parallelt på den samme buffer, hvilket forenkler datahåndteringen betydeligt og øger trænings- og inferensydelsen. MLX er tilgængelig i Python, Swift, C++ og andre sprogog suppleres af den understøttelse, som Apple har tilføjet til populære frameworks som PyTorch eller JAX gennem Metal.
For AI-forskere og -entusiaster har Apple aktive ressourcer på developer.apple.com og i sine GitHub-repositories, hvor de udgiver modeller, konverteringsværktøjer, kodeeksempler og tekniske artikler. Dette markerer et betydeligt skift fra en tid, hvor stort set ingen af deres forskning blev offentliggjort.
Privatliv, privat cloud og forhold til andre AI-modeller
En af grundpillerne i Apples tilgang til AI og maskinlæring er PrivacyVirksomheden insisterer på, at modellerne skal kende dine personlige oplysninger for at være virkelig nyttige, men det betyder ikke, at de vil indsamle eller udnytte dem uden for din kontrol.
Processorer på enheden, med stadigt kraftigere og mere specialiserede chips, gør det muligt for en iPhone eller en Mac at gøre ting, der for bare få år siden krævede en stor server. Dette betyder lavere latenstid, offline-drift og nul afhængighed Tredjeparter leverer mange intelligente funktioner. Ved ikke at sende data til skyen reduceres risikoen for lækager og juridiske problemer.
Når Apple har brug for at bruge større modeller, der ikke passer komfortabelt i enheden, tyr de til deres Privat cloud computingIdeen er, at serverne ikke ved, hvem du er, eller hvad du behandler; de modtager blot en batch af anonyme data, kører modellen og returnerer resultatet uden at gemme noget. Desuden kører disse servere på hardware med Apple-chips og har åbne revisionssystemer, så sikkerhedseksperter kan gennemgå dem.
Tredjepartsintegration, såsom aftalen med OpenAI om at bruge ChatGPT i specifikke tilfælde, sker altid via Siri eller systemværktøjer, hvor man eksplicit spørger, om man vil sende informationen. Alligevel er det ikke nødvendigt. opret en konto på ChatGPT for at udnytte grundlæggende funktioner, selvom du kan linke en, hvis du vil have adgang til mere avancerede værktøjer.
Apple planlægger at tillade andre modeller at blive integreret i denne ordning i fremtiden: fra alternativer som Googles Gemini til åbne modeller som Llama. Ideen er, at Siri og Apple Intelligence vil fungere som et "orkestreringslag" over disse modeller, der opretholder en ensartet oplevelse og, så vidt muligt, virksomhedens privatlivsstandarder.
Brugsscenarier inden for produkter og professionel udvikling
I den daglige brug afspejles maskinlæring hos Apple i funktioner så forskellige som kollisionsdetektion fra iPhone og Apple Watch, prædiktiv tekst på tastaturet, softwareforbedring af fotos, Apple Music-anbefalinger eller forslag til populære destinationer i Kort på bestemte tidspunkter.
For virksomheder og udviklere åbner Apples ML-økosystem døren til en bred vifte af projekter: billedklassificering til produktkataloger, lokale anbefalingssystemer, automatisk dokumentanalyse, interne samtaleassistenter, agenter, der automatiserer rutineprocesser, eller akustisk hændelsesdetektion i realtid.
Specialiserede virksomheder som f.eks. Q2BSTUDIO De bruger teknologier som Core ML, Create ML, Vision, Natural Language og SoundAnalysis til at skabe skræddersyede løsninger, og integrerer også cloud-infrastrukturer (AWS, Azure), når cloud-behandling eller hybride implementeringer er påkrævet. De kombinerer også disse modeller med værktøjer fra Business Intelligence og Power BI at omdanne forudsigelser til handlingsrettede beslutninger.
Et andet ofte stillet spørgsmål er, om det er værd at bruge en MacBook til maskinlæringMange brugere værdsætter batterilevetid, bærbarhed og den samlede oplevelse sammenlignet med store Windows-bærbare computere. For meget store modeller er dedikerede arbejdsstationer eller skyen dog stadig mere praktiske. Mac-computere med M-chip De har demonstreret meget solid ydeevne til små og mellemstore træningsprojekter, lokal udvikling, prototyping og kørsel af optimerede modeller med MLX eller Core ML.
De potentielle ulemper sammenlignet med Linux eller Windows er normalt relateret til specifikke bibliotekskompatibiliteter eller det faktum, at nogle værktøjer primært er designet til NVIDIA GPU'er, men Apples support via Metal og ML's eget økosystem har lukket dette hul ret hurtigt.
Hele dette netværk af teknologier, fra små modeller på enheder til Apple Intelligence og Private Cloud Computing, tegner et billede, hvor Apples AI kommer ind i næsten alle hjørner af systemet at gøre oplevelsen mere gnidningsløs, mere personlig og samtidig mere sikker, med det mål, at både brugere og udviklere kan stole på maskinlæring uden at skulle give afkald på privatliv eller kæmpe med overdreven kompleksitet.
