浏览全部资源
扫码关注微信
收稿：2023-03-02，
修回：2023-03-14，
纸质出版：2023-04-16
移动端阅览
近年来，人工智能技术接连取得突破，尤其是在强化学习、大规模语言模型和人工智能生成内容技术等方面，正逐步成为各个行业的创新驱动力。OpenAI于2022年11月30日发布的ChatGPT由于具有惊人的自然语言理解和生成能力，引起全社会大范围的关注，成为全球热议的话题，并被广泛应用于各个行业。仅两个月后，ChatGPT的月活跃用户数便达1亿，成为史上用户数增长最快的消费者应用。鉴于ChatGPT目前造成的影响，对其进行全面的分析较为必要。本文从历史沿革、应用现状和前景展望这3个角度对ChatGPT进行剖析，探究其对社会的影响、技术的原理和挑战以及未来发展的可能性，并从模型能力的角度简要介绍GPT-4相对于ChatGPT的改进。作为一个现象级技术产品，从技术角度而言ChatGPT对相关领域具有里程碑式的重要意义，从应用角度而言其可能会给人类社会带来巨大的影响。ChatGPT有潜力成为计算机领域最伟大的成就之一。但就目前而言，ChatGPT仍然存在一些局限，尚未达到强人工智能的水平。在当前阶段，研究人员需要对人工智能技术持有自信和谦虚学习的态度，继续发展相关的技术研究和应用。
Artificial intelligence （AI） technology has been developing intensively， especially for such scenarios in relevance to its applications of 1） natural language processing， 2） computer vision， 3） recommendation systems， and 4） forecast analysis. AI technology has been challenging for human cognition over the past decade. In recent years， natural language processing techniques can be focused on more. ChatGPT， as a case of emerging generative AI technology， is launched in December of 2022. ChatGPT， as an advanced language model， is commonly used on the basis of its a） larger model sizes， b） advanced pre-training methods， c） faster computing resources， and d） more language processing tasks. This ChatGPT-related literature review is focused on its （1） public awareness and application status， （2） characteristics， （3） mechanisms， （4） scalability， （5） challenges and limitations， （6） future development and application prospects， and （7） improvements of GPT-4 relative to ChatGPT. Cognitive computing and AI-based ChatGPT can be as a sort of language model in terms of the Transformer architecture and Generative Pre-Training （GPT）. This GPT-trained model can be related to natural language processing， which can predict the probability distribution of the next token using a multi-layer Transformer to generate natural language text. It can be outreached by training the learned language patterns on a large corpus of text. The OpenAI’s language model has shown a significant improvement in their level of intelligence from GPT-1（117 million parameters） in 2018 to GPT-3（175 billion parameters） in 2020. The language processing and generation capabilities of GPT have been improving dramatically in terms of consistent optimization like its 1） model size， 2） generative models， and 3） self-supervised learning. Thereafter， reinforcement learning-based InstructGPT is originated from Human Feedback and such probability of infeasible， untrue， and biased outputs can be significantly reduced in January 2022. In December 2022， ChatGPT is introduced as the sister model of InstructGPT. ChatGPT is not only add InstructGPT-based chat attributes， and a test version is opened to the public. The core technologies of ChatGPT can be linked to 1） reinforcement learning from human feedback（RLHF）， 2） supervised fine-tuning（SFT）， 3） instruction fine-tnning（IFT）， and 4） chain-of-thought（CoT） as well. ChatGPT has attracked about 100 million active users per month after the launch of two months. In comparison， TikTok took nine months to achieve 100 million monthly active users， and Instagram took two and a half years. According to Similar Web， more than 13 million independent visitors use ChatGPT on average each day in January of 2023， which is more than twice in December of 2022. The leading US new media company Buzzfeed accurately seized the opportunity of ChatGPT and saw its stock price triple in two days. The ChatGPT-derived impact shows its potential preference for consumers. The ChatGPT can play mulitiple roles for such domain like clinics， translation， official administrations， and programming tasks. Such extensive application of ChatGPT is still to be developed. However， while ChatGPT has the potential for widespread application in various industries， it cannot be universally applied to all industries. For example， as certain industrial production processes typically rely on digitalization and do not necessitate the handling of human language， natural language processing techniques may not be required. Furthermore， various other factors， such as legal restrictions and data privacy concerns， may also impinge upon the application of natural language processing technologies within certain industries. For industries that require the processing of sensitive information， such as the healthcare industry， natural language processing technologies may need to comply with strict legal regulations to ensure data privacy and security. In addition to industry-specific reasons， it should be noted that ChatGPT has not yet achieved perfection in natural language processing tasks. In summary， as a phenomenal and technological product， AI-generated ChatGPT’s potentials are beneficial for textual and multi-modal AIGC applications to a certain extent， and it may have an impact on the a） survival of corporations， b） competition among countries， and c） entire social structure. However， the current various positive evaluations of ChatGPT can only be seen as a phenomenon of good rain after a long drought， and it cannot change the fact that ChatGPT is a questions and answers （Q&A） solution based on prior knowledge and models. It is required to be acknowledged that ChatGPT does not have its true recognition， intention， and creativity yet， and its true intelligence need to be tackled further.
Berner C ， Brockman G ， Chan B ， Cheung V ， Dębiak P P ， Dennison C ， Farhi D ， Fischer Q ， Hashme S ， Hesse C ， Józefowicz R ， Gray S ， Olsson C ， Pachocki J ， Petrov M ， Pinto H P O ， Raiman J ， Salimans T ， Schlatter J ， Schneider J ， Sidor S ， Sutskever I ， Tang J ， Wolski F and Zhang S . 2019 . Dota 2 with large scale deep reinforcement learning ［EB/OL］.［ 2023-02-04 ］. https://arxiv.org/pdf/1912.06680.pdf https://arxiv.org/pdf/1912.06680.pdf
Brown T ， Mann B ， Ryder N ， Subbiah M ， Kaplan J D ， Dhariwal P ， Neelakantan A ， Shyam P ， Sastry G ， Askell A ， Agarwal S ， Herbert-Voss A ， Krueger G ， Henighan T ， Child R ， Ramesh A ， Ziegler D ， Wu J ， Winter C ， Hesse C ， Chen M ， Sigler E ， Litwin M ， Gray S ， Chess B ， Clark J ， Berner C ， McCandlish S ， Radford A ， Sutskever I and Amodei D . 2020 . Language models are few-shot learners // Proceedings of the 34th International Conference on Neural Information Processing Systems （NIPS’20 . HookRed， USA ： Curran Associates Inc.： 1877 - 1901 ［ DOI： 10.5555/3495724.3495883 http://dx.doi.org/10.5555/3495724.3495883 ］
Devlin J ， Chang M W ， Lee K and Toutanova K . 2019 . BERT： pre-training of deep bidirectional transformers for language understanding // Proceedings of 2019 Conference of the North American Chapter of the Association for Computational Linguistics . Minneapolis， USA ： Association for Computational Linguistics： 4171 - 4186 ［ DOI： 10.18653/v1/N19-1423 http://dx.doi.org/10.18653/v1/N19-1423 ］
Du N ， Huang Y ， Dai A M ， Tong S ， Lepikhin D ， Xu Y ， Krikun M ， Zhou Y ， Yu A W ， Firat O ， Zoph B ， Fedus L ， Bosma M P ， Zhou Z ， Wang T ， Wang E ， Webster K ， Pellat M ， Robinson K ， Meier-Hellstern K ， Duke T ， Dixon L ， Zhang K ， Le Q ， Wu Y ， Chen Z and Cui C . 2022 . GLaM： efficient scaling of language models with mixture-of-experts // Proceedings of the 39th International Conference on Machine Learning . Baltimore， USA ： PMLR： 162 ： 5547 - 5569
Fedus W ， Zoph B and Shazeer N . 2021 . Switch Transformers： scaling to trillion parameter models with simple and efficient sparsity . Journal of Machine Learning Research ， 23 （ 120 ）： 1 - 39
Jumper J ， Evans R ， Pritzel A ， Green T ， Figurnov M ， Ronneberger O ， Tunyasuvunakool K ， Bates R ， Žídek A ， Potapenko A ， Bridgland A ， Meyer C ， Kohl S A A ， Ballard A J ， Cowie A ， Romera-Paredes B ， Nikolov S ， Jain R ， Adler J ， Back T ， Petersen S ， Reiman D ， Clancy E ， Zielinski M ， Steinegger M ， Pacholska M ， Berghammer T ， Bodenstein S ， Silver D ， Vinyals O ， Senior A W ， Kavukcuoglu K ， Kohli P and Hassabis D . 2021 . Highly accurate protein structure prediction with AlphaFold . Nature ， 596 （ 7873 ）： 583 - 589 ［ DOI： 10.1038/s41586-021-03819-2 http://dx.doi.org/10.1038/s41586-021-03819-2 ］
Krizhevsky A ， Sutskever I and Hinton G E . 2017 . ImageNet classification with deep convolutional neural networks . Association for Computing Machinery ， 60 （ 6 ）： 84 - 90 ［ DOI： 10.1145/3065386 http://dx.doi.org/10.1145/3065386 ］
Ouyang L ， Wu J ， Jiang X ， Almeida D ， Wainwright C L ， Mishkin P ， Zhang C ， Agarwal S ， Slama K ， Ray A ， Schulman J ， Hilton J ， Kelton F ， Miller L ， Simens M ， Askell A ， Welinder P ， Christiano P ， Leike J and Lowe R . 2022 . Training language models to follow instructions with human feedback ［EB/OL］.［ 2023-02-04 ］. https://arxiv.org/pdf/2203.02155.pdf https://arxiv.org/pdf/2203.02155.pdf
Radford A ， Narasimhan K ， Salimans T and Sutskever I . 2018 . Improving language understanding by generative pre-training ［EB/OL］.［ 2023-02-04 ］. https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf
Rombach R ， Blattmann A ， Lorenz D ， Esser P and Ommer B . 2022 . High-resolution image synthesis with latent diffusion models // Proceedings of 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . New Orleans， USA ： IEEE： 10674 - 10685 ［ DOI： 10.1109/CVPR52688.2022.01042 http://dx.doi.org/10.1109/CVPR52688.2022.01042 ］
Schulman J ， Wolski F ， Dhariwal P ， Radford A and Klimov O . 2017 . Proximal policy optimization algorithms ［EB/OL］.［ 2023-02-04 ］. https://arxiv.org/pdf/1707.06347.pdf https://arxiv.org/pdf/1707.06347.pdf
Silver D ， Huang A ， Maddison C J ， Guez A ， Sifre L ， Driessche G ， Schrittwieser J ， Antonoglou I ， Panneershelvam V ， Lanctot M ， Dieleman S ， Grewe D ， Nham J ， Kalchbrenner N ， Sutskever I ， Lillicrap T ， Leach M ， Kavukcuoglu K ， Graepel T and Hassabis D . 2016 . Mastering the game of Go with deep neural networks and tree search . Nature ， 529 （ 7587 ）： 484 - 489 ［ DOI： 10.1038/nature16961 http://dx.doi.org/10.1038/nature16961 ］
Vaswani A ， Shazeer N ， Parmar N ， Uszkoreit J ， Jones L ， Gomez A N ， Kaiser Ł and Polosukhin I . 2017 . Attention is all you need // Proceedings of the 31st International Conference on Neural Information Processing Systems （NIPS’17） RedHook ， USA ： Curran Associates Inc.： 6000 - 6010 ［ DOI： 10.5555/3295222.3295349 http://dx.doi.org/10.5555/3295222.3295349 ］
Vinyals O ， Babuschkin I ， Czarnecki W M ， Mathieu M ， Dudzik A ， Chung J ， Choi D H ， Powell R ， Ewalds T ， Georgiev P ， Oh J ， Horgan D ， Kroiss M ， Danihelka I ， Huang A ， Sifre L ， Cai T ， Agapiou J P ， Jaderberg M ， Vezhnevets A S ， Leblond R ， Pohlen T ， Dalibard V ， Budden D ， Sulsky Y ， Molloy J ， Paine T J ， Gulcehre C ， Wang Z ， Pfaff T ， Wu Y ， Ring R ， Yogatama D ， Wünsch D ， McKinney K ， Smith O ， Schaul T ， Lillicrap T ， Kavukcuoglu K ， Hassabis D ， Apps C and Silver D . 2019 . Grandmaster level in StarCraft II using multi-agent reinforcement learning . Nature ， 575 （ 7782 ）： 350 - 354 ［ DOI： 10.1038/s41586-019-1724-z http://dx.doi.org/10.1038/s41586-019-1724-z ］
Wei J ， Wang X ， Schuurmans D ， Bosma M ， Ichter B ， Xia F ， Chi E ， Le Q and Zhou D . 2022a . Chain-of-thought prompting elicits reasoning in large language models ［EB/OL］.［ 2023-02-04 ］. https://arxiv.org/pdf/2201.11903.pdf https://arxiv.org/pdf/2201.11903.pdf
Wei J ， Bosma M ， Zhao V ， Guu K ， Yu A W ， Lester B ， Du N ， Dai A M and Le Q V . 2022b . Finetuned language models are zero-shot learners // Proceedings of the 10th International Conference on Learning Representations . Virtual ： OpenReview
Wei J ， Tay Y ， Bommasani R ， Raffel C ， Zoph B ， Borgeaud S ， Yogatama D ， Bosma M ， Zhou D ， Metzler D ， Chi E H ， Hashimoto T ， Vinyals O ， Liang P ， Dean J and Fedus W . 2022c . Emergent abilities of large language models . Transactions on Machine Learning Research
Kosinski M . 2023 . Theory of mind may have spontaneously emerged in large language models ［EB/OL］.［ 2023-02-04 ］. https://arxiv.org/pdf/2302.02083.pdf https://arxiv.org/pdf/2302.02083.pdf
相关作者
相关机构
京公网安备11010802024621
