Óculos de maçã

Há rumores de que a Apple tem uma equipe secreta de centenas de funcionários trabalhando em projetos de realidade virtual e aumentada.

• sim
• Não

Projeto secreto de realidade virtual e aumentada da Apple

Conteúdo

1. Projeto secreto de realidade virtual e aumentada da Apple
• Fone de ouvido de realidade mista
• Óculos AR Smart
• Vazamentos AR iOS 14
• AR no Xcode
• Valve Partnership?
• Outros rumores
2. Realidade Aumentada vs. Realidade Virtual
3. Equipe VR / AR da Apple
• Contratações
• Aquisições
4. Patentes AR / VR
5. Data de lançamento
6. Planos futuros de AR / VR
7. Linha do tempo dos óculos Apple

A Apple tem explorado as tecnologias de realidade virtual e realidade aumentada por mais de 10 anos com base em pedidos de patentes, mas com a popularidade da realidade virtual e aumentada explodindo com o lançamento do ARKit, a preocupação da Apple está ficando mais séria e deve levar a um AR / Produto VR em 2022.

Há rumores de que a Apple tem uma unidade de pesquisa secreta com centenas de funcionários trabalhando em RA e VR e explorando maneiras como as tecnologias emergentes podem ser usadas em futuros produtos Apple. A contratação de VR / AR aumentou nos últimos anos, e a Apple adquiriu várias empresas de AR / VR à medida que desenvolve seu trabalho no espaço de AR / VR.

Há rumores de que a Apple está trabalhando em pelo menos dois Projetos de AR que incluem um fone de ouvido de realidade aumentada definido para ser lançado por volta de 2022, seguido por um par de óculos de realidade aumentada mais elegante chegando em uma data posterior. Muitos rumores se concentraram exclusivamente nos óculos, no entanto, levando a alguma confusão sobre os planos da Apple, mas parece que o AR / VRheadset será o primeiro produto lançado.

O analista da Apple, Ming-Chi Kuo, acredita que o fone de ouvido de 'realidade mista' da Apple vai sair no final de 2022 ou início de 2023, com os óculos Apple a seguir em 2025, embora outras fontes tenham dito que os óculos virão em 2023. O fone de ouvido é AR / VR, também conhecido como realidade mista, enquanto os óculos da Apple são realidade aumentada.

Fone de ouvido de realidade mista

A informação e Bloomberg Ambos disseram que a Apple está trabalhando em óculos inteligentes E um fone de ouvido AR / VR (também conhecido como realidade mista), com o fone de ouvido saindo primeiro, seguido pelos óculos. Há rumores de que o fone de ouvido seja semelhante ao fone de ouvido de realidade virtual Oculus Quest do Facebook, mas com um design mais elegante que usa tecidos e materiais leves para garantir que o fone de ouvido seja confortável.

Diz-se que apresenta dois monitores 8K de alta resolução e câmeras de detecção ocular que permitirão aos usuários 'ler letras pequenas' e 'ver outras pessoas em pé na frente e atrás de objetos virtuais.' O fone de ouvido será capaz de mapear superfícies, bordas e dimensões de salas com 'maior precisão do que os dispositivos existentes no mercado'. Ele terá uma tela mais avançada e um chip ainda mais rápido do que o processador M1 em Macs 2020.

A informação em fevereiro disse que será equipado com mais de uma dúzia de câmeras para rastrear os movimentos das mãos, além de câmeras para ver o mundo exterior, e o design bloqueia a visão periférica para evitar que a luz vaze para o campo de visão do usuário. Também pode haver um visor externo embutido na tela para permitir que o usuário mostre os gráficos a outras pessoas.

Elec afirma que o fone de ouvido VR apresentará um display micro OLED de alta resolução com até 3.000 pixels por polegada. Anteriormente, havia rumores de que um micro display OLED indicava os óculos inteligentes, mas não o fone de ouvido VR.

O analista da Apple, Ming-Chi Kuo, disse que os próximos fones de ouvido de realidade mista da Apple contará com 15 módulos de câmeras ópticas no total. Oito dos 15 módulos de câmera serão usados ​​para experiências transparentes de realidade aumentada, seis módulos serão usados ​​para 'biometria inovadora' e um módulo de câmera será usado para detecção ambiental.

Kuo também acredita que o fone de ouvido da Apple será equipado com um sistema de rastreamento ocular avançado usado para fornecer uma experiência visual intuitiva que interage perfeitamente com o ambiente externo, junto com uma operação mais intuitiva que pode ser controlada com movimentos oculares e carga computacional reduzida na forma de um resolução onde o usuário não está olhando.

Em termos de design, o fone de ouvido foi descrito como tendo uma 'viseira curva e elegante presa ao rosto por um material de malha e faixas de cabeça que podem ser trocadas'. Uma faixa de cabeça supostamente apresenta tecnologia de áudio espacial como o AirPods Pro para uma experiência de som surround, enquanto outra fornece bateria adicional durante a viagem. A Apple está trabalhando em vários métodos de controle, incluindo um 'dispositivo parecido com um dedal para ser usado no dedo de uma pessoa'. O fone de ouvido também seria capaz de responder aos movimentos dos olhos e gestos das mãos do usuário, enquanto um protótipo do fone de ouvido também apresentava um botão físico na lateral do visor. A Apple também testou a entrada Siri.

A Apple quer criar uma App Store para o fone de ouvido, com foco em jogos, streaming de conteúdo de vídeo e videoconferência. Foi descrito por Bloomberg como um 'ambiente digital 3-D abrangente' projetado para jogos, assistir a vídeos e se comunicar.

Protótipos de fone de ouvido atuais são ditos pesar cerca de 200 a 300 gramas, mas a Apple pretende reduzir o peso final para 100 a 200 gramas se problemas técnicos puderem ser resolvidos, o que tornaria o fone de ouvido mais leve do que os dispositivos de realidade virtual existentes. O fone de ouvido será portátil com alimentação e armazenamento independentes, mas não será 'móvel' como um iPhone. Ele fornecerá uma 'experiência imersiva' que supera os produtos de realidade virtual disponíveis atualmente e pode ser integrado ao Apple TV + e ao Apple Arcade.

A funcionalidade de realidade aumentada para o fone de ouvido é 'mais limitada' e, embora um lançamento esteja planejado para 2022, a Apple disse ter atingido vários obstáculos de desenvolvimento e tem estimativas de vendas 'conservadoras' para o dispositivo. A Apple espera vender aproximadamente 180.000 unidades, o que equivale a dispositivos mais caros como o Mac Pro. Espera-se que o fone de ouvido seja muito mais caro do que os de outras empresas, e A informação diz que a Apple discutiu o preço do fone de ouvido em cerca de US $ 3.000.

O design inicial incluía uma ventoinha e processadores poderosos, resultando em um dispositivo muito pesado. A Apple teria decidido aproximar o fone de ouvido do rosto para diminuir o tamanho. Os usuários não poderão usar óculos enquanto usam o fone de ouvido, então a Apple criou um sistema onde lentes de prescrição personalizadas podem ser inseridas nas telas de RV.

Kuo acredita que o fone de ouvido usará um design de lente Fresnel híbrida , abrangendo três lentes empilhadas por olho feitas de plástico leve. O objetivo é o design é permitir distâncias focais ultracurtas e melhor desempenho óptico, bem como um amplo campo de visão, e manter o peso do fone de ouvido abaixo de 150 gramas.

Em termos de potência, o próximo fone de ouvido AR / VR contará com um processador principal topo de linha que é semelhante ao chip M1 que a Apple lançou para seus Macs de silício da Apple no ano passado, junto com um processador inferior para gerenciar os aspectos relacionados ao sensor do dispositivo.

O analista da Apple, Ming-Chi Kuo, afirma que ele será capaz de operar de forma independente, sem depender de um Mac ou iPhone, o que é uma partida de um rumor anterior de que funcionaria requer uma amarração para um iPhone. O chip de alta potência no fone de ouvido irá acionar um par de monitores 4K Micro OLED da Sony e seis a oito módulos ópticos para fornecer funcionalidade baseada em AR. A Apple tem trabalho concluído no SoC para o fone de ouvido AR / VR, e irá otimizar para transmissão de dados sem fio, compactação e descompactação de vídeo e eficiência de energia para máxima vida útil da bateria, e não possui um motor neural como alguns dos outros chips da Apple.

O próximo fone de ouvido de realidade mista da Apple irá oferecem WiFi 6E suporte, que é a especificação WiFi mais recente. A Apple está planejando implementar o WiFi 6E para fornecer uma experiência envolvente e de ponta com conectividade sem fio sólida. O WiFi 6E tem todos os benefícios do WiFi 6, mas adiciona espectro de 6 GHz além das bandas de 2,4 GHz e 5 GHz para maior largura de banda e menos interferência entre dispositivos.

Renderizações de fone de ouvido de realidade mista

O designer Antonio De Rosa tem desenvolveu renderizações 3D com base em detalhes compartilhados por A informação , nos dando uma olhada em como pode ser o fone de ouvido de realidade mista da Apple com base nos rumores atuais.

A informação descreveu o fone de ouvido como uma “viseira curva e elegante presa ao rosto por um material de malha e tiaras substituíveis”, oferecida em várias cores.

Protótipos de primeiros fones de ouvido

Rumores anteriores de CNET em 2018, sugeriu que a Apple estava trabalhando em um poderoso headset AR / VR com uma tela de 8K para cada olho que seria desconectado de um computador ou smartphone e funcionaria com aplicativos de realidade virtual e aumentada.

Em vez de depender de uma conexão com um smartphone ou computador, o fone de ouvido CNET descrito se conectaria a uma 'caixa dedicada' usando uma tecnologia sem fio de alta velocidade e curto alcance chamada 60GHz WiGig. A caixa seria alimentada por um processador Apple de 5 nanômetros personalizado que é 'mais poderoso do que qualquer coisa disponível atualmente'. A caixa aparentemente se assemelha a uma torre de PC, mas 'não será um computador Mac real'. Este design em forma de caixa foi o assunto de rumores iniciais e pode ser um protótipo que já foi abandonado para a versão mais elegante que os rumores agora descrevem.

Discordâncias internas teriam moldado e mudado os objetivos da Apple para seus fones de ouvido AR ao longo do tempo. Apple era visando inicialmente para um sistema ultra-poderoso que veio com um hub para hospedar o processador conforme descrito acima, mas Jony Ive, que desde então deixou a empresa, não queria vender um dispositivo que exigiria um dispositivo estacionário separado para funcionalidade total.

Em vez disso, eu queria um fone de ouvido com tecnologia menos poderosa que pudesse ser embutido diretamente no dispositivo, mas o líder da equipe de AR / VR, Mike Rockwell, queria o dispositivo mais poderoso. Foi um impasse que durou meses, e Tim Cook acabou ficando do lado de Ive. Diz-se que Ive prefere os óculos inteligentes AR que também estão em desenvolvimento.

Óculos AR Smart

A Apple está trabalhando em um conjunto de óculos de realidade aumentada, que Leaker Jon Prosser sugeriu A Apple chamará de 'Apple Glass'. Esse nome seria uma escolha incomum, dada a semelhança com o nome de Google Glass, um produto que existia muito antes do trabalho da Apple em óculos AR surgir, então pode não ser preciso.

Os óculos parecem semelhantes aos óculos regulares, com ambas as lentes apresentando telas que podem ser interagidas por meio de gestos. Haverá a opção de obter os óculos sem lentes graduadas por um preço inicial possível de $ 499, com lentes graduadas disponíveis a um custo adicional.

De acordo com Bloomberg , os óculos estão dentro um estágio inicial de desenvolvimento , ainda antes do fone de ouvido AR / VR em que a Apple está trabalhando. Os óculos foram descritos como 'distantes há vários anos', embora a Apple tenha planejado inicialmente lançá-los já em 2023. O protótipo atual se assemelha a óculos de sol de alta qualidade com armações grossas que guardam a bateria e os chips.

A Apple é supostamente planejando usar Microvisores OLED de última geração fornecidos pela Sony para seus supostos óculos de realidade aumentada. Os microvisores OLED da Sony apresentam uma taxa de resposta ultra-rápida, contraste ultra-alto, uma ampla gama de cores, alta luminância, baixa refletância e drivers integrados para um design fino e leve. Os óculos apresentam uma tela de 0,5 polegadas com resolução de 1280x960.

Kuo espera que os óculos AR sejam comercializados como um acessório do iPhone e, principalmente, desempenharão uma função de exibição, transferindo computação, rede e posicionamento para o iPhone, com os óculos fornecendo uma 'experiência AR ótica transparente' para dispositivos móveis. Oferecer os óculos AR como um acessório do iPhone permitirá que a Apple os mantenha finos e leves. Prosser diz que os óculos serão semelhantes aos Ray-Ban Wayfarers ou aos óculos que Tim Cook usa.

Bloomberg disse que os óculos da Apple rodarão 'rOS' ou sistema operacional de realidade. Diz-se que o rOS é baseado no iOS, o sistema operacional que roda no iPhone. Para o fone de ouvido AR, a Apple está desenvolvendo um chip 'system-on-a-package' semelhante ao que está no Apple Watch, embora vá depender do iPhone como mencionado acima.

Ao longo do desenvolvimento de um fone de ouvido AR, a Apple considerou painéis de toque, ativação por voz e gestos com a cabeça como métodos de entrada, e uma série de aplicativos de mapeamento a mensagens de texto estão sendo prototipados. Salas de reunião virtuais e reprodução de vídeo em 360 graus também são conceitos que estão sendo explorados.

Achei que havia rumores iniciais de um lançamento em 2020 , Bloomberg acredita em óculos AR poderia vir faltam anos para o lançamento, com o fone de ouvido VR para sair em 2022. Um relatório da DigiTimes sugeriu que os óculos AR da Apple serão lançados em 2021, e o analista da Apple, Ming-Chi Kuo, espera um lançamento em 2022 com a maior brevidade .

Leaker Jon Prosser acredita que a Apple lançará seus óculos AR em março ou junho de 2021, mas isso parece impreciso, dadas as estimativas de Bloomberg e Kuo.

Prosser também diz que a Apple está trabalhando em uma versão limitada 'Steve Jobs Heritage' dos óculos inteligentes que são projetados para se parecerem com os óculos redondos e sem armação que Steve Jobs costumava usar, mas Bloomberg Mark Gurman chamou esse boato de 'ficção completa'.

Apple é trabalhando com TSMC para desenvolver telas micro OLED 'ultra-avançadas' que serão usadas nos próximos dispositivos de realidade aumentada da Apple, como os óculos inteligentes. Diz-se que os monitores têm menos de uma polegada de tamanho.

Os monitores micro OLED são construídos diretamente em pastilhas de chip em vez de em um substrato de vidro, o que resulta em monitores que são mais finos, menores e mais eficientes em termos de energia. O desenvolvimento de monitores micro OLED está em estágio de produção experimental e levará vários anos até que a Apple e a TSMC estejam prontas para a produção em massa, o que tornaria esses monitores apropriados para os óculos da Apple que supostamente seriam lançados por volta de 2023.

No início de 2021, a Apple é dito ser entrando em uma 'segunda fase de desenvolvimento' em um protótipo de óculos de realidade aumentada. Os óculos devem passar por uma terceira fase de desenvolvimento em alguns meses e, então, quando o design do protótipo for concluído, o wearable passará por um período de seis a nove meses de verificação de engenharia.

Vazamentos AR iOS 14

Código e imagens encontrado no iOS 14 confirmar o trabalho da Apple em um fone de ouvido AR ou VR, com uma foto descoberta que mostra um controlador de aparência genérica para um fone de ouvido com design semelhante ao fone de ouvido HTC Vive Focus. A Apple tem usado o hardware HTC Vive para fins de teste interno.

A Apple está testando seu equipamento de RA com um aplicativo iOS 14 chamado Gobi junto com códigos QR para testar experiências de realidade aumentada. Uma dessas experiências de realidade aumentada é um jogo de boliche na faixa de pedestres acionado em uma faixa de pedestres específica em Sunnyvale, Califórnia.

AR no Xcode

O código no Xcode 11 confirma Trabalho da Apple em algum tipo de fone de ouvido AR. Existem referências a dispositivos de teste com codinome, mais estruturas e um shell de sistema relacionado a esses dispositivos. As referências sugerem que a Apple está desenvolvendo suporte para uma experiência de AR facial semelhante ao Daydream do Google.

Valve Partnership?

De acordo com o site taiwanês DigiTimes , A Apple está fazendo parceria com Valve, desenvolvedora de jogos para o seu fone de ouvido de AR rumores. A Valve lançou seu primeiro fone de ouvido VR, Valve Index, em abril de 2019.

A Valve trabalhou anteriormente com a Apple para trazer suporte nativo de fone de ouvido VR para macOS High Sierra, aproveitando o suporte eGPU com uma versão Mac do software SteamVR.

Outros rumores

Em novembro de 2017, a Apple comprou a Vrvana, uma empresa que desenvolveu um fone de ouvido de realidade mista chamado Totem. A tecnologia de Vrvana poderia ser usada em um futuro fone de ouvido da Apple. Após a compra da Vrvana, a Apple adquiriu a Akonia Holographics, uma empresa que fabrica lentes para óculos inteligentes AR.

Rumores também sugeriram que a Apple poderia incorporar sua pesquisa de realidade aumentada em seu projeto de carro em andamento como parte de um sistema de software no carro que poderia incluir um display heads-up ou outros recursos.

Observação: Viu um erro neste resumo ou deseja oferecer feedback? .

Realidade Aumentada vs. Realidade Virtual

A realidade aumentada (AR) e a realidade virtual (VR) são tecnologias semelhantes, mas há uma grande diferença entre elas e suas aplicações potenciais variam amplamente. A realidade virtual se refere a uma experiência totalmente imersiva em um mundo virtual, enquanto a realidade aumentada se refere a uma visão modificada do mundo real.

A diferença pode ser melhor resumida por uma comparação entre dois produtos, um AR e um VR. óculos Google , O agora extinto conjunto de óculos inteligentes do Google, é um exemplo de realidade aumentada. O Google Glass permite que os usuários vejam o mundo como ele é, mas oferece um display heads-up que sobrepõe informações relevantes fornecidas por computador sobre a visão do mundo real, como clima local, mapas e notificações.

Isso é semelhante ao que dizem que a Apple está trabalhando com seus supostos 'óculos inteligentes'.

Em comparação, o do Facebook Oculus Rift é um fone de ouvido de realidade virtual que oferece uma experiência visual imersiva que não aumenta o mundo real com informações sensoriais adicionais - ele substitui totalmente o mundo real por um mundo simulado.

A realidade aumentada fornece contexto gerado por computador e informações sobre o mundo ao nosso redor, ao mesmo tempo que nos permite interagir com o que nos cerca, enquanto a realidade virtual é projetada para nos isolar de nosso entorno para que possamos interagir com mundos fictícios.

como ver as letras da apple music

As aplicações potenciais para os dois são muito diferentes. A realidade virtual é exclusivamente focada no consumo de conteúdo imersivo porque faz o usuário sentir como se estivesse realmente experimentando o que está acontecendo no mundo simulado por meio de feedback visual, tátil e de áudio. A realidade virtual está amplamente ligada aos jogos agora, mas também tem o potencial de recriar experiências do mundo real para fins educacionais ou de treinamento.

A realidade aumentada não depende de conteúdo imersivo e, embora menos empolgante porque está aumentando a realidade em vez de substituí-la, tem uma gama mais ampla de aplicações potenciais. Na verdade, aplicativos e jogos de realidade aumentada estão prontamente disponíveis no iOS 11 graças ao ARKit.

Com o ARKit, um dispositivo iOS é capaz de identificar uma superfície como uma mesa e, em seguida, objetos virtuais podem ser adicionados a ela. Por causa do poder de computação do iPhone e do iPad, os recursos de realidade aumentada do ARKit são impressionantes. O ARKit já está sendo usado para criar uma grande variedade de aplicativos e jogos, combinando objetos digitais com o mundo real.

Toque

A Apple pode ter como objetivo um produto que funcione com realidade aumentada e virtual, como sugerido por rumores recentes indicando o trabalho em um fone de ouvido AR / VR. Esse produto poderia ser usado para aplicativos de realidade virtual sérios, bem como experiências de realidade aumentada, e seria semelhante ao Microsoft HoloLens.

Equipe VR / AR da Apple

O trabalho da Apple em realidade virtual e aumentada remonta a vários anos, mas os rumores começaram a começar em março de 2015, quando a notícia de que a Apple tinha uma pequena equipe de pessoas trabalhando em realidade aumentada. Em 2015 e no início de 2016, a equipe da Apple cresceu à medida que a empresa contratava funcionários com experiência em tecnologia AR / VR e fazia várias aquisições relacionadas.

A equipe AR / VR da Apple inclui centenas de engenheiros de toda a Apple, todos com experiência em realidade virtual e aumentada. A equipe trabalha em parques de escritórios em Cupertino e Sunnyvale, e a Apple está explorando vários projetos de hardware e software sob o codinome 'T288'.

A equipe de realidade aumentada da Apple combina 'os pontos fortes de seus veteranos em hardware e software' e é liderada por Mike Rockwell, que veio da Dolby. Ex-funcionários de empresas como Oculus, HoloLens, Amazon (da equipe de RV), empresa de animação 3D Weta Digital e Lucasfilm estão trabalhando em RA na Apple.

O ex-chefe de engenharia de hardware da Apple Dan Riccio em janeiro de 2021 fez a transição para uma nova função onde ele está supervisionando o trabalho da Apple em um fone de ouvido AR / VR. O projeto enfrentou desafios de desenvolvimento e os executivos da Apple acreditam que o foco de Riccio pode ajudar.

Contratações

Uma das contratações de AR / VR mais proeminentes da Apple foi o professor de ciência da computação Doug Bowman, que anteriormente liderou o Centro de Interação Humano-Computador da Virginia Tech. Ele é especialista em design de interface de usuário tridimensional e escreveu um livro sobre o assunto, cobrindo interfaces 3D e os benefícios de ambientes virtuais imersivos. Ele tem experiência com realidade virtual e aumentada.

A Apple também contratou funcionários que trabalharam em produtos de realidade virtual ou aumentada na Microsoft e na Lytro. Dizem que algumas contratações recentes são da equipe HoloLens da Microsoft, enquanto outros trabalharam na Lytro, uma empresa que trabalhava em uma câmera capaz de combinar ação ao vivo e computação gráfica para uma experiência de realidade virtual. Os funcionários vindos da equipe HoloLens teriam experiência na criação de um fone de ouvido de realidade aumentada avançado.

A câmera de 360 ​​graus Lytro Immerge

Zeyu Li, que atuou como engenheiro de visão computacional principal na Magic Leap (uma startup desenvolvendo um monitor AR / VR montado em uma cabeça), agora está trabalhando na Apple como um 'Engenheiro de Algoritmo de Visão Computacional Sênior'.

Yury Petrov, um ex-cientista pesquisador da Oculus, do Facebook, agora atua como 'cientista pesquisador' na Apple. De acordo com seu perfil no LinkedIn, Petrov estudou experiências de realidade virtual, prototipou ótica e desenvolveu um software de simulação de computador.

O especialista em realidade aumentada Jeff Norris ingressou na Apple em abril de 2017 como gerente sênior trabalhando na equipe de realidade aumentada da empresa. Norris fundou o Mission Operations Innovation Office e o JPL Ops Lab na NASA. Ele liderou vários projetos focados na interação humano-sistema com ênfase em realidade virtual e aumentada.

Em maio de 2018 de 2018, a Apple contratou Sterling Crispin, que desenvolveu um aplicativo de pintura para fones de ouvido de RV para dispositivos móveis. O 'Cyber ​​Paint' permite que os usuários de fones de ouvido VR criem imagens 2D de 260 graus no Oculus Go, Daydream, GearVR e Vive Focus. A página de Crispin no LinkedIn diz que ele está trabalhando como um 'pesquisador de prototipagem', sugerindo que ele se juntou à equipe que dizem estar trabalhando na tecnologia de fone de ouvido VR / AR.

Em dezembro de 2018, a Apple contratou o ex-designer sênior da Tesla e da Microsoft HoloLens, Andrew Kim, e dada a sua história, ele poderia estar trabalhando no suposto projeto de óculos AR da Apple ou em seu próximo carro da Apple que estaria em desenvolvimento.

O fundador da Jaunt VR, Arthur van Hoff, ingressou na Apple como arquiteto sênior em abril de 2019. Antes de trabalhar na Apple, sua empresa hardware VR criado , incluindo uma câmera 3D VR de $ 100.000 chamada Jaunt One. Antes de van Hoff deixar a empresa, Jaunt falhou e mudou para experiências de AR.

Com a equipe da Apple formada por centenas de funcionários, muitas outras contratações de especialistas em realidade virtual passaram despercebidas. No LinkedIn, existem vários engenheiros de software com experiência em realidade virtual que são empregados pela Apple, mas não está claro se eles trabalham na equipe secreta de AR / VR.

A Apple em julho de 2019 transferiu Kim Vorrath, um de seus executivos de software, para o fone de ouvido de realidade aumentada divisão para 'trazer alguma ordem' para a equipe. Vorrath supervisionou o gerenciamento de programas na equipe de desenvolvimento de software por 15 anos e foi descrito como uma 'força poderosa', garantindo que os funcionários cumpram os prazos e, ao mesmo tempo, resolvendo os bugs.

Aquisições

Muitos membros da equipe AR / VR da Apple podem ter se juntado à empresa por meio de aquisições. Desde 2015, a Apple comprou várias empresas que criaram produtos relacionados a AR / VR e algumas de suas aquisições de AR / VR datam de vários anos.

Em agosto de 2018, a Apple comprou a Akonia Holographics, uma startup que fabrica lentes para óculos de realidade aumentada. Akonia Holographics anuncia 'o primeiro volume holográfico refletivo e óptico de guia de onda disponível comercialmente para elementos de display transparentes em óculos inteligentes.'

Diz-se que os visores que ela fabrica usam a tecnologia HoloMirror da empresa para 'desempenho ultra-nítido e colorido' para possibilitar os 'visores mais finos e leves para uso na cabeça do mundo'.

Em novembro de 2017, a Apple comprou a Vrvana, uma empresa que desenvolveu um fone de ouvido de realidade mista chamado Totem. O Totem, que nunca foi lançado ao público, foi projetado para combinar tecnologias de realidade aumentada e virtual em um único fone de ouvido, combinando recursos completos de RV com câmeras de passagem para habilitar recursos de realidade aumentada baseados em tela.

O Totem basicamente usou um conjunto de câmeras para projetar imagens do mundo real em seu display OLED de 1440p integrado, uma abordagem um tanto única que o diferencia de produtos concorrentes como o HoloLens da Microsoft, que usa um display transparente para combinar realidade virtual e aumentada. A Apple pode estar planejando usar parte da tecnologia do Totem em um produto futuro.

A Apple comprou a empresa israelense de sensores corporais em 3D PrimeSense em 2013, gerando especulações de que recursos baseados em movimento seriam implementados na Apple TV. A tecnologia de profundidade 3D da PrimeSense e os recursos de detecção de movimento foram usados ​​na plataforma Kinect inicial da Microsoft.

O PrimeSense usou luz infravermelha próxima para projetar uma luz invisível em uma sala ou cena, que então é lida por um sensor de imagem CMOS para criar uma imagem virtual de um objeto ou pessoa. Isso permite controles baseados em movimento para interfaces de software, mas também é capaz de fazer coisas como medir objetos virtuais e fornecer distâncias ou tamanhos relativos, úteis para aplicativos de realidade aumentada como jogos interativos, mapeamento interno e muito mais. A tecnologia PrimeSense também pode criar varreduras de 360 ​​graus de pessoas e objetos altamente precisas, potencialmente úteis para aplicativos de realidade virtual.

A Apple adquiriu a startup de realidade aumentada Metaio em maio de 2015. Metaio construiu um produto chamado Metaio Creator, que poderia ser usado para criar cenários de realidade aumentada em apenas alguns minutos. Antes de ser comprado pela Apple, o software de Metaio era usado por empresas como a Ferrari, que criou um showroom de realidade aumentada.

A tecnologia Metaio também foi usada em Berlim para permitir que as pessoas que visitavam o local do Muro de Berlim usassem um smartphone ou tablet para ver como era a área quando o Muro de Berlim ainda estava de pé. A tecnologia de Metaio é aquela que poderia ser potencialmente usada para implementar recursos de realidade aumentada em aplicativos da Apple como o Maps.

A Apple adquiriu o Faceshift em agosto de 2015, marcando sua segunda compra de realidade aumentada em 2015. Antes de ser adquirido pela Apple, o Faceshift trabalhou com estúdios de jogos e animação em tecnologia projetada para capturar expressões faciais com rapidez e precisão usando sensores 3D, transformando-as em rostos animados em tempo real. O Faceshift também estava trabalhando em um produto voltado para o consumidor que permitiria às pessoas transformar seus rostos em desenhos ou faces de monstros em tempo real no Skype.

A tecnologia do Faceshift tem uma ampla gama de casos de uso possíveis, e a Apple parece estar usando o recurso para alimentar o Animoji no iPhone X.

A Emotient, empresa que construiu ferramentas para análise de expressão facial, foi adquirida pela Apple em janeiro de 2016. A tecnologia da Emotient usa inteligência artificial e aprendizado de máquina para ler as emoções humanas, recursos que têm sido usados ​​no mundo real por anunciantes para determinar reações emocionais a anúncios.

Existem dezenas de coisas que a Apple pode fazer com o Emotient, que vão desde uma melhor detecção facial no aplicativo Fotos até a análise dos sentimentos dos clientes nas lojas da Apple e desbloqueio de dispositivos iOS, mas também tem usos potenciais de AR / VR. Assim como o Faceshift, a tecnologia da Emotient pode ser usada para analisar e transformar expressões faciais para a criação de avatares virtuais, úteis para jogos e mídia social. A tecnologia emocional provavelmente foi usada para o Animoji.

Adquirida no início de 2016, a Flyby Media é outra empresa que trabalhava com realidade aumentada. Voar de criou um aplicativo que funcionava com o smartphone 'Project Tango' equipado com sensor 3D do Google, permitindo que as mensagens fossem anexadas a objetos do mundo real e visualizadas por outras pessoas com um dos dispositivos do Google.

Por exemplo, uma pessoa pode 'escanear' um marco como a Golden Gate Bridge de São Francisco e escrever uma mensagem anexada a ele. Uma pessoa que visitasse a ponte posteriormente seria capaz de escanear a ponte com o aplicativo Flyby para ver a mensagem. O aplicativo Flyby provavelmente chamou a atenção da Apple porque era capaz de reconhecer e entender diferentes objetos que eram escaneados, tecnologia que poderia ser usada pela Apple de várias maneiras em aplicativos como Fotos e Mapas.

Em fevereiro de 2017, a Apple comprou a RealFace, uma empresa de segurança cibernética e aprendizado de máquina especializada em tecnologia de reconhecimento facial, que poderia ser usada para recursos de realidade aumentada no futuro.

A RealFace desenvolveu tecnologia de reconhecimento facial integrando inteligência artificial para reconhecimento facial sem fricção. A tecnologia Realface provavelmente foi empregada no iPhone X , O primeiro smartphone da Apple com recursos de reconhecimento facial na forma de ID facial.

Apple em maio de 2020 adquiriu NextVR , uma empresa com sede na Califórnia que combinou realidade virtual com esportes, música e entretenimento, oferecendo experiências de RV para assistir a eventos ao vivo em headsets de RV do PlayStation, HTC, Oculus, Google, Microsoft e outros fabricantes.

Apple em agosto de 2020 adquiriu espaços de inicialização de RV , uma empresa que projetou experiências de realidade virtual que as pessoas poderiam experimentar em shoppings e outros locais, como 'Terminator Salvation: Fight for the Future'. O Spaces também criou experiências de realidade virtual para aplicativos de comunicação de vídeo como o Zoom, que é algo que a Apple poderia potencialmente incorporar em um futuro produto AR / VR.

Patentes AR / VR

A Apple entrou com pedido de várias patentes relacionadas diretamente a um fone de ouvido de realidade virtual, todas com vários anos atrás. Embora a tecnologia provavelmente tenha avançado um pouco além disso, eles fornecem uma visão interessante das ideias que a Apple explorou no passado.

Um pedido de patente de 2008 cobriu um 'sistema de exibição pessoal' bastante básico projetado para imitar a experiência de estar em uma sala de cinema enquanto assiste a um vídeo.

Uma segunda patente descreveu um 'Sistema de exibição montado na cabeça' com um 'motor a laser' que projetava imagens em uma tela de vidro transparente usada sobre os olhos, semelhante a óculos. Nessa configuração, o fone de ouvido é conectado a um reprodutor de vídeo portátil, como um iPod, para fornecer poder de processamento.

Uma terceira patente originalmente solicitada em 2008 era semelhante em design, cobrindo um fone de ouvido de vídeo semelhante a óculos, projetado para permitir que os usuários assistissem a filmes e outros conteúdos. Ele delineou dois módulos ópticos ajustáveis ​​alinhados com o olho do usuário, que poderiam fornecer correção de visão e permitir a visualização de conteúdo 3D. A Apple descreveu isso como uma experiência pessoal de visualização de mídia.

PARA quarta patente a partir de 2008 cobria um quadro de fone de ouvido de vídeo semelhante ao Google Glass, que permitiria ao usuário deslizar seu iPhone ou iPod no fone de ouvido para fornecer vídeo. O fone de ouvido foi descrito como um produto de realidade aumentada que permitiria aos usuários fazer coisas como assistir a um vídeo ou verificar e-mail, mantendo um olho em seu entorno.

Além de patentes relacionadas a fones de ouvido, a Apple também entrou com pedido de patentes que descrevem outras maneiras pelas quais recursos de realidade virtual e aumentada podem ser implementados em seus dispositivos. Um pedido de patente de 2009, por exemplo, cobria telas 3D equipadas com câmeras que mudariam de perspectiva com base na posição relativa do usuário.

Tal tela detectaria o movimento da cabeça, permitindo que um usuário movesse a cabeça para olhar uma imagem 3D de diferentes ângulos, ao mesmo tempo que incorporava elementos do ambiente de um usuário.

As patentes de 2010 e 2012 descreveram o uso de sensores de movimento para criar uma interface 3D para dispositivos iOS usando técnicas de realidade aumentada. A Apple descreveu a interface como uma 'sala virtual' navegada pela manipulação da orientação do dispositivo por meio de sensores embutidos ou por meio de gestos.

Em 2011, a Apple entrou com um pedido de patente para um recurso de realidade aumentada no aplicativo Maps relacionado ao mapeamento da distância até pontos de referência notáveis. Com a câmera, um usuário pode olhar para a área ao seu redor e obter estimativas em tempo real da distância entre dois pontos, juntamente com sobreposições de informações relevantes.

A patente depositada em 2014 e concedida em 2017 abrange um sistema de realidade aumentada móvel capaz de detectar objetos no ambiente e sobrepô-los com informações virtuais por meio do uso de câmeras, uma tela e uma interface de usuário. A Apple descreve o sistema como ideal para um head-mounted display, mas também mostra que ele está sendo usado em smartphones.

A Apple tem trabalhado em tecnologia de realidade virtual que pode ser usado em veículos autônomos . Várias patentes da Apple descrevem um sistema que inclui um sistema de realidade virtual no carro com um fone de ouvido VR usado para fornecer entretenimento e para reduzir o enjôo de tarefas como ler e trabalhar enquanto um veículo está em movimento.

PARA Pedido de patente de julho de 2020 cobre possíveis métodos de entrada com óculos Apple, descrevendo um sistema onde os óculos usam sensor infravermelho de calor para detectar quando alguém toca um objeto do mundo real, permitindo que os óculos projetem controles em uma superfície do mundo real.

Com este método, os óculos Apple podem projetar uma interface de controle de RA em qualquer objeto real no mundo real para um tipo de efeito de sobreposição de realidade mista.

Apple em fevereiro de 2021 entrou com uma série de patentes relacionado ao seu trabalho em um fone de ouvido de realidade mista, com as patentes cobrindo elementos de design, ajuste de lente, tecnologia de rastreamento ocular e software.

A Apple desenvolveu vários métodos para tornar um fone de ouvido mais confortável de usar e, ao mesmo tempo, mantê-lo seguro e bloqueando a luz, além de um sistema de ajuste de lente detalhado que usa fluido para deslocar as lentes sem problemas para fazer o ajuste personalizado para cada usuário.

A Apple também detalha um sistema de rastreamento ocular que usa luz infravermelha para detectar a posição, e também há uma patente sobre como os documentos podem ser editados em um espaço 3D virtual usando o fone de ouvido e detecção de gestos.

A Apple tem sistemas patenteados para gravar vídeo de um fone de ouvido, onde sensores de rastreamento de olhar embutidos podem fornecer uma indicação de onde uma pessoa está olhando no momento, o que pode direcionar uma câmera embutida para gravar a cena onde os olhos do usuário estão posicionados, em vez de simplesmente gravar o que está na frente do usuário.

Outro pedido de patente arquivado em fevereiro de 2021 mostrou que a Apple está pesquisando um dispositivo montado no dedo com uma série de sensores e feedback tátil para ser usado como um dispositivo de controle para um fone de ouvido de realidade mista.

O dispositivo de controle tem uma forma que permite aos usuários sentir os objetos ao seu redor naturalmente e podem determinar com precisão a maneira como o usuário está movendo o dedo e interagindo com as superfícies. Diz-se que o sistema é tão preciso que pode detectar com que força um usuário está pressionando uma superfície e a direção exata dessa força, fornecendo um feedback tátil em resposta.

Juntamente com um fone de ouvido AR ou VR, a Apple diz que este dispositivo montado com o dedo poderia 'fornecer ao usuário a sensação de interagir em um teclado físico quando o usuário está tocando com o dedo na superfície da mesa' ou 'permitir que o usuário forneça um joystick -tipo input 'para jogos usando apenas o movimento das pontas dos dedos do usuário.

Data de lançamento

O analista da Apple, Ming-Chi Kuo, disse em outubro de 2021 que o próximo fone de ouvido de realidade mista atrasado até o final de 2022, no mínimo, com a produção prevista para começar no quarto trimestre de 2022.

Bloomberg também acredita que o fone de ouvido AR / VR no qual a Apple está trabalhando será lançado em 2022, enquanto os óculos AR que estão em desenvolvimento serão lançados posteriormente. A informação sugeriu que um fone de ouvido AR / VR será lançado em 2022, seguido por óculos inteligentes em 2023, mas este é um cronograma anterior ao que outras fontes indicaram para o produto de óculos.

A Apple está supostamente atrasada nos testes para os óculos inteligentes que estão em desenvolvimento, o que talvez possa levar a atrasos. A Apple deveria entrar na segunda fase de desenvolvimento dos vidros no início de 2021, mas os testes da fase dois ainda não começaram, então a produção em volume no primeiro trimestre de 2022 é inesperado .

Analistas do Morgan Stanley disseram recentemente que o fone de ouvido AR está 'se aproximando do lançamento' com base no número de patentes A Apple publicou. Os analistas acreditam que o portfólio de patentes da Apple para seus fones de ouvido AR / VR é semelhante ao portfólio de patentes que construiu antes do lançamento do Apple Watch.

Planos futuros de AR / VR

O analista da Apple, Ming-Chi Kuo, acredita que a Apple poderia estar planejando 'lentes de contato' de realidade aumentada que poderia lançar em algum momento dos anos 2030.

De acordo com Kuo, as lentes trarão a eletrônica da era da 'computação visível' para a 'computação invisível'. Não há 'visibilidade' para as lentes de contato no momento, e não é um produto garantido que a Apple irá desenvolver.