AIが自分より賢いAIを生むことが出来るようになったとき、加速度的にAIが賢くなり、人間を超えてしまうタイミングが訪れる、というのが私の理解。
もちろん、元ネタをきちんと知っているわけではないので、多少認識に間違いがあるかもしれませんが、AIがいつか人間を超えてしまう、という点については、世の中の理解とそう遠くはないはずです。
で、今のところの私の結論は、シンギュラリティなど起きないし、AIが人間を超える、といった現象も起きない、と考えています。
そもそもAIが人間を超える、というのはどういう状況なのか、という問題はあります。人類がそれに気づかなければ、超えたことにもならないからです。まあ、そういう意味でも超えないと言えるかもしれません。
◆
たまたま人工知能研究者の本を立ち読みしていて、下のような話が書かれており、非常に納得したのです。（じゃあ、本買えよ）
曰く、人工知能には知能があるけれど、生命がない。
これは非常に重要なことを意味しています。生命のないところに、いかなる欲望も生まれず、いかなる欲望もなければいかなる能動的な行動や発言も生まれないと思うからです。
気の利いた会話とか、他人への思いやりとか、ある考えに対する反論とか、他人に対する好感とか、つまり、そういった感覚全てが生命であることに起因していると私には思われます。このような感情を持ち得ない以上、人間を超えるどころか、人間と対話することすら出来ないと思います。
もちろん、今でもSiriのようなサービスで、ちょっとだけ気の利いた答えを返してくれることがあります。しかし、どう考えてもそのような言葉は単にプログラムで仕込まれているだけで、人間のように常にその場で考えながら発言しているわけではなさそうです。だから、Siriは特定の言葉（しかもプログラマが考えた）しか発することができません。
今後、パターン認識的に、多少は発言にバリエーションが増えたり、全く空気を読まないような発言は減ってくるでしょうが、それでも、人間のリアルタイム性、反応のバリエーションには遠く及ばないでしょう。
そして、それを実装しようと思うほど、プログラマはAIに生命を植え付ける必要が出てくると感ずると思います。
もっと言うと、複数の生命がしのぎを削り何世代も進化させることによって、いわゆる自然淘汰による進化が起きるわけですが、そのような生存競争を経て進化した意識でないと、少なくとも動物レベルの能動性を獲得し得ない（「生命」を植え付けたことにならない）と思います。
◆
人間の仕事の中で、あるパターン化された仕事を非常に高い精度でこなす必要のある仕事があります。いわゆる職人技と言われるような類いの職業です。
これらは何年もかけて修行を積む必要がありますが、そこで職人が得る知見というのは、やり方や量が具体的であるほど、実はコンピュータにとって非常に親和性の高い情報だったりします。
AIが得意なのはまさにそんな領域です。
一人で黙々とこなす職人の世界。これこそが、ディープラーニングで知識化したAIによって置き換え可能な職業だと私は考えています。
皮肉なことに、人間が人生の中で苦労して身につけるようなスキルはAIがとても得意なのですが、人間のもっともプリミティブな（動物的な）部分をAIはほとんど真似ることが出来ないのです。
人々の欲望に従って世界が周る限り、そして人間が自ら地球を住めなくしてしまうまでは、AIは人間と同じような人格を持ったモノには成り得ず、特定の技術をデータ化したエキスパートシステムとして、もっと言えば安価になった工場で動いているようなロボットとして、我々の生活に浸透してくるだけなのだと私は思います。
