Революция разума: на подступах к Сингулярности. Как технологии изменят общество и сознание - Рэймонд Курцвейл Страница 90

122. Danny Driess and Pete Florence, “PaLM – E: An Embodied Multimodal Language Model”, Google Research, March 10, 2023, https://ai.googleblog.com/2023/03/palm-e-embodied-multimodal-language.html; Danny Driess et al., “PaLM-E: An Embodied Multimodal Language Model”, arXiv:2303.03378v1 [cs.LG], March 6, 2023, https://arxiv.org/pdf /2303.03378.pdf.

123. Sundar Pichai and Demis Hassabis, “Introducing Gemini: Our Largest and Most Capable AI Model”, Google, December 6, 2023, https://blog.google/technology/ai/google-gemini-ai; Sundar Pichai, “An Important Next Step on Our AI Journey”, Google, February 6, 2023, https://blog.google/technology/ai/bard-google-ai-search-updates; Sarah Fielding, “Google Bard Is Switching to a More ‘Capable’ Language Model, CEO Confirms”, Engadget, March 31, 2023, https://www.engadget.com/google-bard-is-switching-to-a-more-capable-language-model-ceo-confirms-133028933.html; Yusuf Mehdi, “Confirmed: The New Bing Runs on OpenAI ’s GPT-4 ”, Microsoft Bing Blogs, March 14, 2023, https://blogs.bing.com/search/march_2023/Confirmed-the-new-Bing-runs-on-OpenAI%E2%80 %99s-GPT-4; Tom Warren, “Hands-on with the New Bing: Microsoft’s Step Beyond ChatGPT”, The Verge, February 8, 2023, https://www.theverge.com/2023/2/8/23590873 /microsoft-new-bing-chatgpt-ai-hands-on.

124. Johanna Voolich Wright, “A New Era for AI and Google Workspace”, Google, March 14, 2023, https://workspace.google.com/blog/product-announcements/generative-ai; Jared Spataro, “Introducing Microsoft 365 Copilot – Your Copilot for Work”, Official Microsoft Blog, March 16, 2023, https://blogs.microsoft.com/blog/2023/03/16/introducing-microsoft-365-copilot-your-copilot-for-work.

125. Markus Anderljung et al., “Compute Funds and Pre-Trained Models”, Centre for the Governance of AI, April 11, 2022, https://www.governance.ai/post/compute-funds-and-pre-trained-models; Jaime Sevilla et al., “Compute Trends Across Three Eras of Machine Learning”, arXiv:2202.05924v2 [cs.LG], March 9, 2022, https://arxiv.org/pdf/2202.05924.pdf; Dario Amodei and Danny Hernandez, “AI and Compute”, OpenAI, May 16, 2018, https://openai.com/blog/ai-and-compute.

126. Jacob Stern, “GPT-4 Has the Memory of a Goldfish”, Atlantic, March 17, 2023, https:// www.theatlantic.com/technology/archive/2023/03/gpt-4-has-memory-context-window/673426.

127. Экстраполируя долгосрочную тенденцию, которая характеризуется удвоением за 1,34 года с 1983-го. Все источники данных для оценки соотношения цена/производительность компьютеров, упомянутых в этой книге, приведены в приложении.

128. Во время подготовки этой книги прогресс в скорости обучения ИИ, согласно данным тестов MLPerf, идет в пять раз быстрее, чем было бы за счет только увеличения плотности расположения транзисторов. Основную роль играют в совокупности оптимизация алгоритмов и модернизация чипов. См. Samuel K. Moore, “AI Training Is Outpacing Moore’s Law”, IEEE Spectrum, December 2, 2021, https://spectrum.ieee.org/ai-training-mlperf.

129. Во время написания этой книги цена на GPT-3.5 API составляла 1 доллар за 500 000 токенов (примерно 370 000 слов). Когда книга появится на полках, цена, скорее всего, будет еще ниже. См. Ben Dickson, “OpenAI Is Reducing the Price of the GPT-3 API – Here’s Why It Matters”, VentureBeat, August 25, 2022, https://venturebeat.com/ai/openai-is-reducing-the-price-of-the-gpt-3-api-heres-why-it-matters; OpenAI, “Introducing ChatGPT and Whisper APIs”, OpenAI, March 1, 2023, https://openai.com/blog/introducing-chatgpt-and-whisper-apis; OpenAI, “What Are Tokens and How to Count Them?”, OpenAI, последняя проверка доступности 30 апреля 2023 года, https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them.

130. Stephen Nellis, “Nvidia Shows New Research on Using AI to Improve Chip Designs”, Reuters, March 27, 2023, https://www.reuters.com/technology/nvidia-shows-new-research-using-ai-improve-chip-designs-2023-03-28.

131. Blaise Aguera y Arcas, “Do Large Language Models Understand Us?”, Medium, December 16, 2021, https://medium.com/@blaisea/do-large-language-models-understand-us-6f881d6d8e75.

132. Более совершенные алгоритмы снижают количество вычислений, необходимых для достижения определенного уровня обученности нейросети. Большое количество исследований подтверждают, что для многих задач развитие алгоритмов столь же важно, как и рост возможностей аппаратного обеспечения. Согласно статье 2022 года, улучшенные алгоритмы снижали требования к вычислительной мощности для решения одних и тех же задач в два раза каждые 9 месяцев в период 2012–2021 годов. See Ege Erdil and Tamay Besiroglu, “Algorithmic Progress in Computer Vision”, arXiv:2212.05153v4 [cs.CV] August 24, 2023, https://arxiv.org/pdf/2212.05153.pdf; Katja Grace, Algorithmic Progress in Six Domains, Machine Intelligence Research Institute technical report 2013-3, December 9, 2013, https://intelligence.org/files/AlgorithmicProgress.pdf.

133. Anderljung et al., “Compute Funds and Pre-Trained Models”.

134. Sevilla et al., “Compute Trends Across Three Eras of Machine Learning”; Все источники данных для оценки соотношения цена/производительность компьютеров, упомянутых в этой книге, приведены в приложении.

135. Anderljung et al., “Compute Funds and Pre-Trained Models”; Sevilla et al., “Compute Trends Across Three Eras of Machine Learning”; Amodei and Hernandez, “AI and Compute”.

136. “Dallas Fed Energy Survey”, Federal Reserve Bank of Dallas, March 27, 2019, https://www.dallasfed.org/research/surveys/des/2019/1901.aspx#tab-questions.

137. Отличное видео для знакомства с технологиями обработки больших объемов данных: Rebecca Tickle “What Is Big Data?”, Computerphile, YouTube video, May 15, 2019, https://www.youtube.com/watch?v=H4bf_uuMC-g.

138. Для более глубокого погружения в концепцию взрывного роста интеллекта см. Nick Bostrom, “The Intelligence Explosion Hypothesis – eDay 2012”, EMERCE, YouTube video, November 19, 2012, https://www.youtube.com/watch?v=g3FMpn321zs; Luke Muehlhauser and Anna Salamon, “Intelligence Explosion: Evidence and Import”, in Singularity Hypotheses: A Scientific and Philosophical Assessment, ed. Amnon Eden et al. (Berlin: Springer, 2013), https://intelligence.org/files/IE-EI.pdf; Eliezer Yudkowsky, “Recursive Self-Improvement”, LessWrong.com, December 1, 2008, https://www.lesswrong.com /posts/JBadX7rwdcRFzGuju/recursive-self-improvement; Eliezer Yudkowsky, “Hard Takeoff”, LessWrong.com, December 2, 2008, https://www.lesswrong.com/posts/tjH8XPxAn r6JRbh7k/hard-takeoff; Eliezer Yudkowsky, Intelligence Explosion Microeconomics, Machine Intelligence Research Institute technical report 2013-1, September 13, 2013, https://intelli gence.org/files/IEM.pdf; I. J. Good, “Speculations Concerning the First Ultraintelligent Machine”, Advances in Computers 6 (1966): 31–88, https://doi.org/10.1016/S0065-2458(08) 60418-0; Ephrat Livni, “The Mirror Test for Animal Self-Awareness Reflects the Limits of Human Cognition”, Quartz, December 19, 2018, https://qz.com/1501318/the-mirror-test-for-animals-reflects-the-limits-of-human-cognition; Darold A. Treffert, “The Savant Syndrome: An Extraordinary Condition. A Synopsis: Past, Present, Future”, Philosophical Transactions of the Royal Society B: Biological Sciences 364, no. 1522 (May 27, 2009): 1351–57, https://doi.org/10.1098/rstb.2008.0326.

139. Robin Hanson and Eliezer Yudkowsky, The Hanson-Yudkowsky AI-Foom Debate, Machine Intelligence Research Institute, 2013, https://intelligence.org/files/AIFoomDebate.pdf.

140. Hanson and Yudkowsky, Hanson-Yudkowsky AI-Foom Debate.

141. Jon Brodkin, “1.1 Quintillion Operations per Second: US Has World’s Fastest Supercomputer”, Ars Technica, May 31, 2022, https://arstechnica.com/information-technology/2022 /05/1-1-quintillion-operations-per-second-us-has-worlds-fastest-supercomputer; “November 2022”, Top500.org, последняя проверка доступности 14 ноября 2023 года, https://www.top500.org/lists/top500 /2022/11.

142. Отличное исследование темы эмуляции мозга с разных точек зрения и сводка оценок, полученных разными методами: Joseph Carlsmith, How Much Computational Power Does It Take to Match the Human Brain?, Open Philanthropy, September 11, 2020, https://www.open philanthropy.org/brain-computation-report; “Brain Performance in FLOPS”, AI Impacts, July 26, 2015, https://aiimpacts.org/brain-performance-in-flops.

143. Herculano-Houzel, “Human Brain in Numbers”; David A. Drachman, “Do We Have Brain to Spare?”, Neurology 64, no. 12 (June 27, 2005), https://doi.org/10.1212 /01.WNL.0000166914.38327.BB; Ernest L. Abel, Behavioral Teratogenesis and Behavioral Mutagenesis: A Primer in Abnormal Development (New York: Plenum Press, 1989), 113, https://books.google.co.uk/books?id=gV0rBgAAQBAJ.

144. “Neuron Firing Rates in Humans”, AI Impacts, April 14, 2015, https://aiimpacts.org/rate-of-neuron-firing; Peter Steinmetz et al., “Firing Behavior and Network Activity of Single Neurons in Human Epileptic Hypothalamic Hamartoma”, Frontiers in Neurology 2, no. 210 (December 27, 2013), https://doi.org/10.3389/fneur.2013.00210.

145. “Neuron Firing Rates in Humans”, AI Impacts.

146. Ray Kurzweil, The Singularity Is Near (New York: Viking, 2005), 125; Hans Moravec, Mind Children: The Future of Robot and Human Intelligence (Cambridge, MA; Harvard University Press,